-
公开(公告)号:CN114817596A
公开(公告)日:2022-07-29
申请号:CN202210390000.1
申请日:2022-04-14
Applicant: 华侨大学
IPC: G06F16/532 , G06F16/583 , G06V10/80 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明提出一种融合语义相似性嵌入和度量学习的跨模态图文检索方法,具体包括:首先构建特征嵌入模块抽取每个模态的深度特征,然后在图像和文本的单模态表征空间和跨模态公共表征空间通过标签域监督信息和语义一致性监督信息分别进行表征学习。同时,设计一个深度相似性度量网络对融合后的图像文本对进行相似性比较,得到相似性得分,通过语义相似性矩阵监督相似性学习。通过损失函数将模型统一到一个整体的框架内,训练可得到端到端的跨模态图文检索模型。通过实验表明,本发明能够有效解决跨模态图文检索中精确度不高的问题。
-
公开(公告)号:CN114710667A
公开(公告)日:2022-07-05
申请号:CN202210269314.6
申请日:2022-03-18
Applicant: 华侨大学
IPC: H04N19/107 , H04N19/11 , H04N19/96
Abstract: 本发明公开了一种针对H.266/VVC屏幕内容帧内CU划分的快速预测方法及装置,通过收集屏幕内容视频建立数据库,用于训练模型;构建宽度自适应网络模型,预测两种不同尺寸CU的划分方式,预测步骤如下:先采用网络模型对64×64大小的CU进行划分方式预测,若为不划分,则停止CU的RD代价计算,若为划分,则得到4个32×32大小的CU,则采用网络模型对32×32大小的CU的划分方式进行预测,若为不划分,则停止RD的代价计算,若为四叉树划分,则得到4个16×16的CU:若为多种类型叉树划分,则需要依靠标准编码器进行计算;最后设定适当的预设阈值来提高预测准确率。本发明能够在保持H.266/VVC编码效率的前提下,有效地降低H.266/VVC屏幕内容的帧内预测编码计算复杂度。
-
公开(公告)号:CN109166160B
公开(公告)日:2022-07-01
申请号:CN201811082243.9
申请日:2018-09-17
Applicant: 华侨大学
IPC: G06T9/00
Abstract: 本发明公开了一种采用图形预测的三维点云压缩方法,属于视频编码领域,方法包括:采用KD树对输入三维点云进行自适应分块;采用KNN算法计算编码单元内每个点的K邻近点;构建每个单元块的图并计算图形平移算子;对每个编码单元的块进行去均值,采用K‑means算法对编码单元进行自适应采样,通过求解优化问题对未采样点进行预测;利用基于KD树的块均值预测算法对每个编码单元块的均值进行预测编码;最后用算术编码器对所有量化的参数和残差进行熵编码。本发明采用图形预测,能够对庞大的三维点云数据进行有效压缩,极大地改善三维点云的传输和存储效率。
-
公开(公告)号:CN108875754B
公开(公告)日:2022-04-05
申请号:CN201810426492.9
申请日:2018-05-07
Applicant: 华侨大学
IPC: G06V10/44 , G06V10/764 , G06K9/62
Abstract: 本发明涉及一种基于多深度特征融合的车辆再识别方法,包括:提取训练车辆图像的深度ID特征,提取训练车辆图像的深度颜色特征,提取训练车辆图像的深度车型特征,将提取的三种深度特征进行组合,获得融合特征,通过Softmax分类函数对融合后的深度特征进行分类。本发明对输入的车辆图像提取深度ID特征、深度颜色特征和深度车型特征并进行有效地融合,实现三种深度特征的互补,获得更有表征能力的融合特征,从而实现准确的车辆再识别。
-
公开(公告)号:CN113949872A
公开(公告)日:2022-01-18
申请号:CN202111320458.1
申请日:2021-11-09
Applicant: 华侨大学
IPC: H04N19/147 , H04N19/70
Abstract: 本发明涉及一种基于3D‑Gradient引导的屏幕内容视频编码码率控制方法,属于视频编码领域。本方法采用3D‑Gradient滤波器同时提取屏幕内容视频序列空域和时域的边缘结构特征以及运动信息,将屏幕内容中空域和时域特征进行融合,获取最终的像素级复杂度因子。通过像素级复杂度因子计算CTU级复杂度因子CF进行CTU级的目标比特分配。利用当前编码帧的参考帧以及重建帧的相似度结合目标比特进行率失真模型的构建,实现目标比特,引导码率控制模型的生成。本发明提出的屏幕内容视频编码码率控制方法能够提高码率控制精度,明显改善重建视频序列的率失真性能,在一定程度上降低视频编码时间复杂度。
-
公开(公告)号:CN113554084A
公开(公告)日:2021-10-26
申请号:CN202110806449.7
申请日:2021-07-16
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 星宸科技股份有限公司
Abstract: 本发明实例公开了一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统,对待压缩的车辆再辨识模型的骨干网络进行预训练,对预训练完毕的骨干网络进行剪枝,并通过重训练恢复精度,对车辆再辨识模型中特征金字塔模块进行轻量化卷积设计,将紧凑的骨干网络与轻量化的特征金字塔模块结合,骨干网络提取特征后,特征金字塔模块进行特征融合,得到基于特征金字塔联合表示的轻量化车辆再辨识模型。本发明以复杂高性能的车辆再辨识模型作为输入模型,其骨干网络中重要性较低的卷积核被自动选择和剪枝,并改进其特征金字塔模块中的卷积方式,有效降低参数量和计算量,产生精度相当但较为紧凑的模型。
-
公开(公告)号:CN109063535B
公开(公告)日:2021-09-28
申请号:CN201810541294.7
申请日:2018-05-30
Applicant: 华侨大学
Abstract: 本发明涉及一种基于联合深度学习的行人再辨识和行人性别分类方法,可同时预测行人身份和行人性别。首先,构建两个结构相同的深度网络,分别用于行人再辨识和行人性别分类;其次,利用参数相关正则项约束两个结构相同的深度网络中各层的参数集,使得二者参数的优化过程中不至于发生过大的偏离,以避免过拟合,从而同时提升行人再辨识与行人性别分类的准确率。
-
公开(公告)号:CN113014916A
公开(公告)日:2021-06-22
申请号:CN202110219595.X
申请日:2021-02-26
Applicant: 华侨大学
IPC: H04N17/00
Abstract: 本发明公开了一种基于局部视频活动度的屏幕视频质量识别方法,方法包括:分别对参考和失真屏幕视频序列采用3D‑LOG滤波器提取屏幕特征;计算屏幕区域相似度,基于3D‑LOG池化策略得到屏幕质量分数;分别对参考和失真屏幕视频序列采用3D‑NSS方法提取自然特征;计算自然区域相似度,基于池化策略得到自然质量分数;计算局部视频活动度;基于局部视频活动度结合屏幕和自然质量分数获得最终失真屏幕视频质量评价值。本发明充分考虑到人类视觉系统对于屏幕视频的屏幕和自然内容区域感知度不同且人眼对于边缘特征高度敏感,具有较好的失真屏幕视频质量评价性能。
-
公开(公告)号:CN109525847B
公开(公告)日:2021-04-30
申请号:CN201811345416.1
申请日:2018-11-13
Applicant: 华侨大学
IPC: H04N19/625 , H04N19/176 , H04N19/137 , H04N19/14
Abstract: 本发明涉及一种恰可察觉失真模型阈值计算方法,其包括:对原始图像进行DCT变换,计算相应的亮度自适应模块值和空间对比敏感度函数模块值;利用8×8DCT块的频率能量分布特点,对图像的纹理块进行更为细致的分类,获取对比度掩蔽因子,计算出对比度掩蔽模块值;利用DCT系数的空间频率分布提取出当前图像块的纹理特征,计算两个不同块之间的纹理差异,得到不同块的视觉感知调整因子;整合上述模块,得到最终的JND阈值。本发明所提的算法,在保证视觉质量的前提下,所提JND模型能容纳更多的噪声。该模型可广泛用于感知图像/视频编码、水印以及质量评价等。
-
公开(公告)号:CN111988613A
公开(公告)日:2020-11-24
申请号:CN202010778526.8
申请日:2020-08-05
Applicant: 华侨大学
IPC: H04N19/154 , H04N17/00 , G06K9/62
Abstract: 本发明涉及一种基于张量分解的屏幕内容视频质量分析方法,方法包括:对选定参考屏幕内容视频序列和失真屏幕内容序列分别进行张量分解,得到三方向切片集合的主成分切片;分别提取三方向参考主成分切片和三方向失真主成分切片的Gabor特征图,从而计算得到三方向特征相似度图;基于三方向特征相似度图获得最终失真屏幕内容视频质量分析值。本发明充分利用张量分解理论来描述屏幕内容视频的基本纹理结构,并通过Gabor滤波器提取人眼高度敏感的边缘信息,反映人眼视觉系统对于屏幕内容视频的主观感知度,具有较好的失真屏幕内容视频质量分析性能。
-
-
-
-
-
-
-
-
-