-
公开(公告)号:CN118101972A
公开(公告)日:2024-05-28
申请号:CN202211454487.1
申请日:2022-11-21
Applicant: 上海交通大学
IPC: H04N19/91 , H04N19/169 , H04N19/124 , H04N19/42 , H04N19/44 , G06T9/00 , G06T7/10 , G06N3/04 , G06N3/08
Abstract: 一种端到端实例可分离的语义‑图像联合压缩编解码系统及方法,包括:图像编解码器、分割图编解码器、联合编解码器、语义嵌入提取模块、语义图谱编解码器、熵编解码模块、图像表征熵估计模块、分割表征熵估计模块和联合表征熵估计模块,本发明能够充分利用图像、实例分割图和实例语义信息(如实例包围框、实例类别和实例之间关系等)之间的冗余,大大提升率失真性能。同时,允许实例可分离编解码,即解码端可以单独解码某一实例自身的语义信息、分割图和图像。
-
公开(公告)号:CN117994539A
公开(公告)日:2024-05-07
申请号:CN202410190630.3
申请日:2024-02-20
Applicant: 联想(北京)有限公司 , 上海交通大学
IPC: G06V10/74 , G06V20/40 , G06V10/44 , G06V10/82 , G06N3/0455 , G06N3/0464
Abstract: 本申请公开一种视频处理方法和装置,方法包括,获得第一视频中视频帧的第一帧级特征和第二视频中视频帧的第二帧级特征;根据第一帧级特征和第二帧级特征的相似度确定目标划分结果,目标划分结果包括多个第一步骤和多个第二步骤,第一步骤包括第一视频的视频帧,第二步骤包括第二视频的视频帧;目标划分结果的总体一致性大于非目标划分结果的总体一致性,总体一致性表征相对应的第一步骤和第二步骤之间的相似度;根据第一步骤中视频帧的第一帧级特征确定第一步骤级特征,根据第二步骤中视频帧的第二帧级特征确定第二步骤级特征;基于第一步骤级特征和第二帧级特征的相关性、第二步骤级特征和第一帧级特征的相关性,确定视频之间的关联关系。
-
公开(公告)号:CN111325073B
公开(公告)日:2024-02-20
申请号:CN201811541700.6
申请日:2018-12-17
Applicant: 上海交通大学
Abstract: 一种基于运动信息聚类的监控视频异常行为检测方法,从视频中每次提取出不重叠的连续帧,针对该连续帧计算光流幅度图像并进行预处理,计算预处理后的二值化图像中的有效连通区域并对其进行矫正和去除噪声,将得到的目标检测结果进行行为识别,最终得到异常行为检测结果。本发明利用光流幅度图像得到视频中的运动信息进行对图像初步的行为定位,利用目标检测器剔除由光流幅度图像得到的运动区域中的噪声,保证得到的运动区域内包含人,这使得行为识别网络的识别对象更有针对性,使不同场景的监控视频都可以实现非常高的检测精度和非常低的误检率。
-
公开(公告)号:CN113780240B
公开(公告)日:2023-12-26
申请号:CN202111149036.2
申请日:2021-09-29
Applicant: 上海交通大学
Abstract: 一种基于神经网络及旋转特征增强的物体位姿估计方法,构建物体在不同旋转位姿下的先验旋转特征库,针对单目相机采集到的二维视觉图像,通过目标检测得到图像的物体类别、分割区域以及目标的视觉特征;将目标物体的位姿估计解耦为位移参数估计和旋转参数估计,根据图像的物体类别和分割区域,将目标的视觉特征通过位移参数估计后与先验旋转特征库进行匹配实现粗估计,再用目标的视觉特征与对应的先验旋转特征共同估计旋转残差项,实现精细定位。本发明充分利用物体天然蕴含的不同旋转姿态下的特征构建先验旋转特征库,根据输入图像中提取到的视觉特征在特征库中筛选出合适的对应的旋转特征,从粗到细的增强旋转参数估计的鲁棒性、准确性。
-
公开(公告)号:CN116934881A
公开(公告)日:2023-10-24
申请号:CN202210397909.X
申请日:2022-04-08
Applicant: 上海交通大学
Abstract: 一种基于语义图谱的图像‑语义信息联合压缩编码方法,在压缩阶段,从输入图像中提取多种语义信息并构建语义图谱,同时通过带下采样的图像编码网络从输入图像中提取出纹理特征图,用于进一步提取实例纹理特征与空间纹理特征,将语义分割图和实例分割图合并为辅助语义图,经FLIF编码得到辅助码流,然后将纹理特征嵌入语义图谱后经无损压缩编码得到用于传输的压缩码流;在解压缩阶段,通过与编码对应的解码方式对压缩码流进行解码,无损或近似无损恢复得到含纹理特征的语义图谱,对辅助码流FLIF解码进行无损恢复得到语义信息,最终有损重建出输入图像。本发明无需解码恢复图像,大大降低计算开销并提高分析效率。
-
公开(公告)号:CN110688918B
公开(公告)日:2023-02-14
申请号:CN201910867364.2
申请日:2019-09-12
IPC: G06V20/40 , G06V10/762 , G06V10/764 , G06V10/74 , G06V10/82 , G06N3/04
Abstract: 一种基于长时增强特征增强及稀疏动态采样的快速行为检测方法,对视频直接进行时空联合的三维特征提取后进行时域检测,利用全局的长时信息对三维特征进行长时增强,根据时域检测结果对长时增强的特征沿时间维度在时域区间内进行稀疏动态采样,得到空间检测结果后与时域检测结果相结合,利用每个特征向量及其偏移向量计算检测框的相似度并通过逐帧聚类的方法实现检测框的链接,得到的检测框的集合,即行为管道。本发明能够显著提升分类精度以及定位精度从而最终有效提升检测的准确率,同时能够提升视频行为检测的运行效率。
-
公开(公告)号:CN111641830B
公开(公告)日:2022-03-15
申请号:CN201910157792.6
申请日:2019-03-02
Applicant: 上海交通大学
IPC: H04N19/137 , H04N19/13 , H04N19/463 , H04N19/103 , H04N19/109 , H04N19/503 , H04N19/513 , H04N19/91
Abstract: 一种用于视频中的人体骨架的多模态无损压缩实现方法,通过选取关键帧并对视频中的每一帧中的各个人体骨架区分是否为变化的人体骨架,然后对变化的人体骨架进行特殊标记标注,根据每帧图像是否为关键帧以及该帧中各个骨架是否为变化的人体骨架进行选择性编码。本发明通过三种编码方法的相互有机协作结合,对一段视频序列中的人体骨架信息进行无损压缩编码,从而获得可供传输的小体积编码比特流,显著提高了人体骨架信息的压缩效率。
-
公开(公告)号:CN105957137B
公开(公告)日:2018-09-21
申请号:CN201610246791.5
申请日:2016-04-20
Applicant: 上海交通大学
IPC: G06T17/00
Abstract: 一种基于纹理映射的三维彩色模型图像处理方法,首先根据三维模型顶点与各个二维图像之间的映射关系确立位于三维模型上的各个纹理块的边界点,而后通过边界更新方程更新边界点颜色,再以内部纹理更新方程更新纹理块内所有顶点的颜色,重复两个更新过程直至更新前后各顶点颜色差值总和小于设定值,本发明将边界点和纹理块内的纹理分别求解,弱化了更新边界点颜色时点与点之间互相关系的约束以及更新纹理块内颜色时对于颜色改变的限制条件,能够显著地缩小纹理块的颜色以消除边界处的较大颜色差距,能够根据接缝处颜色整体统一地改变整块纹理的颜色,保持纹理的一致性和真实性。
-
公开(公告)号:CN108520505A
公开(公告)日:2018-09-11
申请号:CN201810341067.X
申请日:2018-04-17
Applicant: 上海交通大学
IPC: G06T5/10 , G06T9/00 , H04N19/172 , G06N3/04
Abstract: 一种基于多网络联合构建与自适应选择的环路滤波实现方法,首先通过联合构建包含一个多分类网络和多个滤波网络的卷积神经网络,然后采用压缩视频的视频帧作为训练数据对该卷积神经网络进行迭代训练,最后在视频压缩过程中进行自适应选择的环路滤波,即只使用多个滤波网络或其联合分类网络共同实现环路滤波,本发明具有更强鲁棒性,不同模型能够更好地捕捉上述的由压缩算法带来的复杂的图像失真现象,从而实现更好的质环路滤波效果。
-
公开(公告)号:CN105046230B
公开(公告)日:2018-04-10
申请号:CN201510446547.9
申请日:2015-07-27
Applicant: 上海交通大学
IPC: G06K9/00
Abstract: 一种图像处理领域的基于图像的人眼角检测的方法及系统,通过使用固定模板对眼睛大致区域图和眼角区域图像进行滤波和自定义阈值的方法进行二值化,然后另外提取眼睛大致区域图中的类眼角点图和眼白图,利用类眼角点图中最右侧点的坐标信息为边界,滤除第二步得到的眼睛大致区域二值图中对应该边界右侧的连通区,获得一次修正的眼睛大致区域二值图,再将其与所述眼白图进行并集操作,获得二次修正后的眼睛大致区域二值图;然后计算眼角区域二值图内最大两个连通区与眼睛大致区域二值图的关系,从而得到两个连通区在眼睛大致区域二值图中对应的连通区,再计算这两个连通区与二次修正后眼睛大致区域二值图连通区关系,判断是否需要重新定位眼睛大致区域和眼角区域;最后对眼角区域二值图进行修剪并输出眼角点信息。通过本发明能够有效实现眼角检测。
-
-
-
-
-
-
-
-
-