-
公开(公告)号:CN119863405A
公开(公告)日:2025-04-22
申请号:CN202510341442.0
申请日:2025-03-21
Applicant: 华侨大学
IPC: G06T5/77 , G06T5/60 , G06V10/42 , G06V10/44 , G06V10/80 , G06V10/82 , G06V20/40 , G06N3/0455 , G06N3/0464
Abstract: 本发明一种基于频域融合的大面积缺损视频修复方法及装置,涉及视频处理技术领域,针对现阶段缺损视频修复方法主要局限于小面积缺损场景,对大面积缺损的视频内容修复能力不足,难以生成合理的视觉修复结果的问题,提出了一种有效的解决方法,方法包括以下步骤:首先,获取缺损的视频帧序列,对视频帧序列进行下采样;接着,使用堆叠的频域融合残差块对下采样后的缺损视频帧进行全局信息建模,频域融合残差块由两个自适应频域交叉融合模块依次连接而成;然后,利用堆叠的时间Transformer模块优化多帧之间的时间一致性;最后,进行上采样以重建视频帧,得到最终修复的视频。本发明能够在大范围缺损区域中生成视觉上合理、内容流畅自然的视频修复效果。
-
公开(公告)号:CN119809940A
公开(公告)日:2025-04-11
申请号:CN202510287141.4
申请日:2025-03-12
Applicant: 华侨大学 , 信泰(福建)科技有限公司
IPC: G06T3/4076 , G06N3/0464 , G06N3/048 , G06T3/4046 , G06V10/44 , G06V10/80 , G06V10/82
Abstract: 一种基于状态模型的光场图像超分辨率重建方法和装置,包括:构建浅层特征提取模块,用于对输入的待重建的光场图像的子孔径图像形式提取浅层特征;利用状态空间模型构建深层特征提取单元;基于所述深层特征提取单元构建光场空角特征重建模块,用于对所述浅层特征重建光场空角特征;基于所述深层特征提取单元构建光场结构特征重建模块,用于对所述浅层特征重建光场结构特征;构建高分辨率图像重建模块,用于将所述浅层特征、所述光场空角特征和所述光场结构特征进行层次特征融合和上采样得到重建高分辨率光场图像。本发明通过利用状态空间模型的动态特性,显著提升光场图像超分辨率方法的全局空角信息表征能力和细节重建能力。
-
公开(公告)号:CN119205752B
公开(公告)日:2025-03-14
申请号:CN202411703532.1
申请日:2024-11-26
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06T7/00 , G06N3/045 , G06V10/26 , G06V10/52 , G06V10/54 , G06V10/80 , G06V10/82 , G06V20/40 , H04N17/00
Abstract: 本发明公开了一种基于注意力引导的屏幕内容视频质量评价方法及装置,涉及视频质量评价领域,包括:构建时空融合的屏幕内容视频质量评价模型并训练,得到经训练的屏幕内容视频质量评价模型,屏幕内容视频质量评价模型包括空域质量评价分支和时域质量评价分支;获取屏幕内容视频并提取得到若干个碎片化视频和若干个关键帧;将每个碎片化视频和关键帧输入经训练的屏幕内容视频质量评价模型,分别经过空域质量评价分支和时域质量评价分支,得到空域质量分数和时域质量分数,两者结合得到屏幕内容视频的质量分数。本发明解决现有视频质量评价方法的敏感性差,视觉质量评价准确度低等问题。
-
公开(公告)号:CN119323805B
公开(公告)日:2025-02-25
申请号:CN202411876774.0
申请日:2024-12-19
Applicant: 华侨大学
IPC: G06V40/10 , G06N3/0464 , G06N3/084 , G06V10/32 , G06V40/20
Abstract: 本发明公开了一种动静正则混合采样的行人再辨识方法及系统,涉及公共安全智能视频监控技术领域。实践中,采样常独立于行人再辨识模型训练,导致训练过程采样的信息丢失不受控制,制约识辨准确性。为此,本发明设计了正则动态线性采样和静态线性采样混和方法,实现行人再辨识模型训练过程中联合优化采样效果,其中,前者通过归一化的可学习参数,以数据驱动的动态方式学得动态的像素组合权重;后者利用双线性变换来确定静态的像素组合权重,实现与数据无关的采样策略。本发明进一步设计了动静正则项,约束动态的像素组合权重与静态的像素组合权重之间的差异,控制可学习参数的自由度,更好地组合动静采样,减少传统单一静态采样过程中信息损失。
-
公开(公告)号:CN119205752A
公开(公告)日:2024-12-27
申请号:CN202411703532.1
申请日:2024-11-26
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06T7/00 , G06N3/045 , G06V10/26 , G06V10/52 , G06V10/54 , G06V10/80 , G06V10/82 , G06V20/40 , H04N17/00
Abstract: 本发明公开了一种基于注意力引导的屏幕内容视频质量评价方法及装置,涉及视频质量评价领域,包括:构建时空融合的屏幕内容视频质量评价模型并训练,得到经训练的屏幕内容视频质量评价模型,屏幕内容视频质量评价模型包括空域质量评价分支和时域质量评价分支;获取屏幕内容视频并提取得到若干个碎片化视频和若干个关键帧;将每个碎片化视频和关键帧输入经训练的屏幕内容视频质量评价模型,分别经过空域质量评价分支和时域质量评价分支,得到空域质量分数和时域质量分数,两者结合得到屏幕内容视频的质量分数。本发明解决现有视频质量评价方法的敏感性差,视觉质量评价准确度低等问题。
-
公开(公告)号:CN118450127B
公开(公告)日:2024-11-05
申请号:CN202410885047.4
申请日:2024-07-03
Applicant: 华侨大学
IPC: H04N19/147 , H04N19/625 , H04N19/136 , H04N19/149
Abstract: 本发明公开了一种融合空频域显著性特征的SCV编码感知码率控制方法及装置,涉及视频编码领域,方法包括:获取屏幕内容视频,通过卷积、相似度计算,对屏幕内容视频在空域上进行显著性建模,获得空域的显著性特征;其次利用DCT变换,对屏幕内容视频在频域上进行显著性建模,获得频域的显著性特征;然后利用显著性因子指导CTU级的目标比特分配;最后通过显著性因子构建显著性启发的感知码率控制模型,调节参数,实现码率控制。本发明通过提取空域和频域的显著性特征并加以融合求得显著性因子,使用显著性因子指导码率控制,能够提高编码率失真性能,提升码率分配精度。
-
公开(公告)号:CN118411583B
公开(公告)日:2024-10-22
申请号:CN202410836696.5
申请日:2024-06-26
Applicant: 华侨大学
IPC: G06V10/776 , G06N3/0464 , G06V10/54 , G06V10/74 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于多特征融合的沉浸式视频质量评价方法及装置,涉及视频处理领域,包括:对参考纹理视频序列和失真纹理视频序列采用3D‑LOG滤波器进行特征提取,得到参考纹理特征和失真纹理特征,并计算得到纹理特征相似度,基于纹理特征相似度通过3D‑LOG池化策略得到纹理视频质量分数;根据参考深度视频序列和失真深度视频序列计算得到参考深度特征和失真深度特征;根据参考深度特征和失真深度特征计算得到深度特征相似度并确定梯度权重,根据深度特征相似度和梯度权重计算得到深度视频质量分数;根据纹理视频质量分数和深度视频质量分数计算得到待评价的沉浸式视频的质量分数,解决现有视频评价算法不符合人眼视觉特性和沉浸式视频的特点的问题。
-
公开(公告)号:CN118609034B
公开(公告)日:2024-10-15
申请号:CN202411080625.3
申请日:2024-08-08
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
Abstract: 本发明公开了一种基于帧级时间聚合策略的沉浸式视频质量评价方法及装置,涉及视频处理领域,方法包括:通过帧抽样策略去除视频冗余信息,采用卷积网络对沉浸式视频(即多视点纹理加深度视频)不同区域进行多尺度特征提取;接着使用注意力模型对特征进行加权,通过帧级时间聚合策略自适应地筛选沿时间维度的质量分数;最终结合六自由度(Degree of Freedom,DoF)时空轨迹权重获取失真沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果,稳定性和鲁棒性高。
-
公开(公告)号:CN118334711B
公开(公告)日:2024-08-27
申请号:CN202410757573.2
申请日:2024-06-13
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06V40/10 , G06N3/0455 , G06N3/0464 , G06T7/70 , G06V10/26 , G06V10/764 , G06V10/82
Abstract: 本发明公开了一种基于服装描述生成的行人性别与年龄识别方法及装置,涉及图像识别领域,包括:构建行人性别与年龄识别模型,通过线性映射层和前a层Transformer块将行人图像处理为识别特征和图像特征,利用人体部位检测模型获取行人图像中的人体部位的位置,并裁剪出各个人体部位图像,利用图像字幕生成模型生成各个人体部位图像对应的服装文字描述,并利用词嵌入模型将服装文字描述映射为服装文字描述向量,将服装文字描述向量输入特征提取模块,提取得到对应的向量特征,将所有向量特征拼接后再连接至识别特征和图像特征后,并依次经过后b层Transformer块、第一全连接层和Softmax函数层,得到识别结果,解决性别与年龄识别技术受观察角度与环境等因素影响较大的问题。
-
公开(公告)号:CN118411583A
公开(公告)日:2024-07-30
申请号:CN202410836696.5
申请日:2024-06-26
Applicant: 华侨大学
IPC: G06V10/776 , G06N3/0464 , G06V10/54 , G06V10/74 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于多特征融合的沉浸式视频质量评价方法及装置,涉及视频处理领域,包括:对参考纹理视频序列和失真纹理视频序列采用3D‑LOG滤波器进行特征提取,得到参考纹理特征和失真纹理特征,并计算得到纹理特征相似度,基于纹理特征相似度通过3D‑LOG池化策略得到纹理视频质量分数;根据参考深度视频序列和失真深度视频序列计算得到参考深度特征和失真深度特征;根据参考深度特征和失真深度特征计算得到深度特征相似度并确定梯度权重,根据深度特征相似度和梯度权重计算得到深度视频质量分数;根据纹理视频质量分数和深度视频质量分数计算得到待评价的沉浸式视频的质量分数,解决现有视频评价算法不符合人眼视觉特性和沉浸式视频的特点的问题。
-
-
-
-
-
-
-
-
-