基于双分支Transformer网络的属性与图像跨模态行人再辨识方法及装置

    公开(公告)号:CN116416645A

    公开(公告)日:2023-07-11

    申请号:CN202310199941.1

    申请日:2023-03-03

    Abstract: 本发明公开了一种基于双分支Transformer网络的属性与图像跨模态行人再辨识方法及装置,获取行人属性和行人图像,行人图像来自行人注册图像集;构建双分支Transformer网络,并对双分支Transformer网络训练,得到属性与图像跨模态行人再辨识模型,双分支Transformer网络包括同型的属性Transformer分支和图像Transformer分支;将行人属性和行人图像输入属性与图像跨模态行人再辨识模型,分别通过属性Transformer分支和图像Transformer分支提取得到属性特征和图像特征;将属性特征与图像特征进行相似度比对,得到行人属性对应的再辨识结果。属性Transformer分支和图像Transformer分支都属于同型的Transformer结构,有利于控制文本属性和行人图像在特征空间中的模态异质性问题,从而提升属性‑图像跨模态行人再辨识准确性。

    一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法

    公开(公告)号:CN110072113B

    公开(公告)日:2023-03-10

    申请号:CN201910414604.3

    申请日:2019-05-17

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于贝叶斯决策的3D‑HEVC深度图帧间快速算法,属于视频编码领域,本方法包括CU尺寸判决和模式快速选择。首先,提取当前CU划分或者不划分时,遍历完DIS模式的RDcost作为特征,通过离线训练高斯模型,并且计算损失函数,将后验概率与损失函数作比较,判断当前CU是否为最佳尺寸;其次,提取最优模式是否是SKIP或者DIS时,遍历完SKIP或者DIS的RDcost作为特征,引入全零块,通过最小错误贝叶斯判决,判断当前最优模式是否是SKIP或者DIS。本发明一种基于贝叶斯决策的3D‑HEVC深度图帧间快速算法能够减少编码器计算开销,在保持编码性能基本不变的情况下,减少编码时间。

    一种基于可变形卷积的宽QP范围环路滤波方法

    公开(公告)号:CN115396667A

    公开(公告)日:2022-11-25

    申请号:CN202211005433.7

    申请日:2022-08-22

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于可变形卷积的宽QP范围环路滤波方法,属于视频编码领域。本方法利用可变形卷积灵活的感受野与形变建模能力,自动学习视频特征,并通过密集残差连接,进行特征强化,以达到增强压缩视频质量的目的;同时提出一种QP注意力模块,提高该方法的泛化能力,使该方法能够同时提升不同QP下的压缩视频质量。本发明方法能够显著提升压缩视频的主客观质量。

    基于帧预测神经网络的多描述视频编码方法和解码方法

    公开(公告)号:CN113038126B

    公开(公告)日:2022-11-01

    申请号:CN202110261181.3

    申请日:2021-03-10

    Applicant: 华侨大学

    Abstract: 基于帧预测神经网络的多描述视频编码方法和解码方法,本发明在编码端将源视频采用时间下采样的方法分为奇数帧和偶数帧,分别将奇数帧和偶数帧组成两个新的序列,通过HEVC编码器进行编码。针对时间下采样所导致的帧丢失问题,采用帧预测神经网络来分别预测对应序列中所丢失的帧。将预测帧与对应序列的已编码视频帧相减获得残差信息,与当前序列已编码信息组成一个描述。将两个描述的码流打包分别通过不同的信道传输到解码端。本发明方法构成的多描述视频编码使码流具有一定的差错恢复能力,解码端可充分利用描述间的相关信息保证解码端在不可靠网络传输下的高质量视频重建。

    一种基于局部视频活动度的屏幕视频质量识别方法

    公开(公告)号:CN113014916B

    公开(公告)日:2022-11-01

    申请号:CN202110219595.X

    申请日:2021-02-26

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于局部视频活动度的屏幕视频质量识别方法,方法包括:分别对参考和失真屏幕视频序列采用3D‑LOG滤波器提取屏幕特征;计算屏幕区域相似度,基于3D‑LOG池化策略得到屏幕质量分数;分别对参考和失真屏幕视频序列采用3D‑NSS方法提取自然特征;计算自然区域相似度,基于池化策略得到自然质量分数;计算局部视频活动度;基于局部视频活动度结合屏幕和自然质量分数获得最终失真屏幕视频质量评价值。本发明充分考虑到人类视觉系统对于屏幕视频的屏幕和自然内容区域感知度不同且人眼对于边缘特征高度敏感,具有较好的失真屏幕视频质量评价性能。

    一种基于极平面线性相似度的光场图像质量评价方法

    公开(公告)号:CN109801273B

    公开(公告)日:2022-11-01

    申请号:CN201910016167.X

    申请日:2019-01-08

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于极平面线性相似度的光场图像质量评价方法,属于图像处理领域,根据人类视觉系统理解光场图像时对场景结构变化的敏感性和光场图像中包含丰富的场景结构变化信息提出,方法包括:对参考光场图像和失真光场图像分别提取极平面图;接着分别提取参考极平面图和失真极平面图的线性特征图,进而计算得到极平面线性特征相似度图;基于极平面线性相似度图得到最终失真光场图像质量评价值。本发明充分利用极平面线性特征来描述光场图像中场景结构变化,从而评价失真光场图像的质量,反映人眼主观视觉系统对于光场图像的主观感知度,具有较好的光场图像质量评价性能。

    一种基于结构相似度的生成对抗网络的红外图像着色方法

    公开(公告)号:CN112365559B

    公开(公告)日:2022-08-26

    申请号:CN202011305117.2

    申请日:2020-11-19

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于结构相似度的生成对抗网络的红外图像着色方法,构造一个基于结构相似度的生成对抗网络,包括生成器和鉴别器;鉴别器能够区别图像是来自红外图像域或是来自彩色图像域,对生成器采用基于生成对抗网络的损失函数、基于一范或二范的循环一致损失函数和重构损失函数、基于结构相似度的损失函数,使生成器能够生成色彩逼真且边缘清晰的彩色图像;利用预先采集的红外图像和彩色图像将所提出的基于结构相似度的生成对抗网络训练到收敛条件,所获得的生成器即可实现对红外图像的着色。本发明不仅能保留红外成像在夜间拍摄的优势,也能利于人眼能够更好更快的捕捉到图像中的有用信息,充分发挥图像价值,从而促进夜视成像技术的发展。

Patent Agency Ranking