基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法及装置

    公开(公告)号:CN116600107A

    公开(公告)日:2023-08-15

    申请号:CN202310893891.7

    申请日:2023-07-20

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于IPMS‑CNN和空域相邻CU编码模式的HEVC‑SCC快速编码方法及装置,将卷积神经网络预测大尺寸CU模式的方法与基于空间相邻CU所采用模式数量预测小尺寸CU模式的方法相结合,旨在保持编码质量的同时减少编码时间,降低计算复杂度,方法首先搭建数据库,训练IBC/PLT模式选择的卷积神经网络模型;其次将输入的CTU通过模式选择网络,输出CTU的模式预测标签;最后通过统计相邻3个CU所使用的模式数量来预测当前CU选择的模式。本发明能够节省编码时间,降低屏幕内容视频的计算复杂度。

    一种基于张量分解的屏幕内容视频质量分析方法

    公开(公告)号:CN111988613B

    公开(公告)日:2022-11-01

    申请号:CN202010778526.8

    申请日:2020-08-05

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于张量分解的屏幕内容视频质量分析方法,方法包括:对选定参考屏幕内容视频序列和失真屏幕内容序列分别进行张量分解,得到三方向切片集合的主成分切片;分别提取三方向参考主成分切片和三方向失真主成分切片的Gabor特征图,从而计算得到三方向特征相似度图;基于三方向特征相似度图获得最终失真屏幕内容视频质量分析值。本发明充分利用张量分解理论来描述屏幕内容视频的基本纹理结构,并通过Gabor滤波器提取人眼高度敏感的边缘信息,反映人眼视觉系统对于屏幕内容视频的主观感知度,具有较好的失真屏幕内容视频质量分析性能。

    基于混合特征的无参考屏幕视频质量评价方法及系统

    公开(公告)号:CN114979709A

    公开(公告)日:2022-08-30

    申请号:CN202210726211.8

    申请日:2022-06-24

    Applicant: 华侨大学

    Abstract: 本发明公开一种基于混合特征的无参考屏幕视频质量评价方法及系统,包括:S10,将输入的失真屏幕视频SCV以连续30帧为一组,组合形成多个屏幕视频块SCVB;S20,计算每个屏幕视频块SCVB中每一帧视频帧对应的活动度,选取其中活动度最大的视频帧作为候选帧;S30,使用预训练好的卷积神经网络对所述屏幕视频块和候选帧进行特征提取,分别得到视频级特征和帧级特征;将视频级特征和帧级特征进行组合,形成用于表征视频的总体特征;S40,通过浅层卷积神经网络,将视频的总体特征映射成对应的质量分数。本发明充分利用了卷积神经网络在特征提取方面的优点,通过同时处理帧级和视频块级特征更加全面的提取了视频特征。

    一种基于模态关系学习的跨模态检索方法

    公开(公告)号:CN114817673A

    公开(公告)日:2022-07-29

    申请号:CN202210389983.7

    申请日:2022-04-14

    Applicant: 华侨大学

    Abstract: 本发明提出一种基于模态关系学习的跨模态检索方法,将数据集中相同语义的图像文本对以及所属的类标签输入到基于模态关系学习的跨模态检索网络模型中训练,直至模型收敛,从而获得网络模型M;利用S1中训练得到网络模型M分别提取待查询图像/文本和候选库中每个文本/图像的特征向量,从而计算待查询图像文本与候选库中文本/图像的相似度,根据相似度的大小进行降序排序,并返回相似度最高的检索结果;建立模态间和模态内的双重融合机制进行模态间关系学习,不仅在模态内融合多尺度的特征,还在模态间使用标签的关系信息直接对融合特征进行互补性关系学习,另外,加入模态间的注意力机制进行特征联合嵌入,进一步的提高了跨模态的检索性能。

    一种H.266/VVC屏幕内容编码快速模式选择方法

    公开(公告)号:CN113141504A

    公开(公告)日:2021-07-20

    申请号:CN202110235923.5

    申请日:2021-03-03

    Applicant: 华侨大学

    Abstract: 一种H.266/VVC屏幕内容编码快速模式选择方法,1)对当前输入的屏幕视频帧计算角点占比,根据角点占比将其划分为低对比度屏幕视频帧和高对比度屏幕视频帧;2)对于低对比度屏幕视频帧,根据当前CU是否有角点将当前编码CU分成前景CU和背景CU,再分别进行对应的模式检测;3)对于高对比度屏幕视频帧,检测当前CU是否有角点,如果未检测出角点,则当前CU为背景CU,转至步骤4),否则,当前CU为前景CU,转至步骤5);4)根据CU活动度和平均亮度差将背景CU分成屏幕内容背景CU和自然内容背景CU,再分别进行对应的模式检测;5)根据相邻CU是否使用IBC或PLT预测模式分别进行对应的模式检测。本发明的方法可大幅减少低对比度屏幕视频帧的编码时间,降低编码复杂度。

    一种基于公共语义空间学习构建图文知识图谱方法

    公开(公告)号:CN112818135A

    公开(公告)日:2021-05-18

    申请号:CN202110208342.2

    申请日:2021-02-24

    Abstract: 本发明公开了一种基于公共语义空间学习构建图文知识图谱方法,包括如下步骤:构建深度神经网络用于图像与文本数据的深度特征提取;将图像与文本数据对oi=(xi,li,yi)分别输入到深度神经网络中训练;其中oi表示第i对图像‑文本对数据以及对应的标签,xi,yi与li分别表示第i个图像数据、文本数据以及对应的标签数据;通过损失函数学习两种图像和文本数据间的公共语义表达,并将图像与文本特征转化到公共语义空间中;根据相似度度量,依据CN‑DBpedia的构建方法构建知识图谱。本发明提供的方法能有效实现图像、文本两种不同的模态间的知识图谱构建。

    一种基于级联匹配的快速再辨识方法与快速再辨识系统

    公开(公告)号:CN112668502A

    公开(公告)日:2021-04-16

    申请号:CN202011625617.4

    申请日:2020-12-31

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于级联匹配的快速再辨识方法与快速再辨识系统,训练阶段构造多级复杂程度递增的级联的深度学习网络,并对各级深度学习网络独立训练,然后各级深度学习网络进行自举微调;测试阶段使用级联深度学习网络逐级对查询图像和注册图像集的图像进行级联匹配,直到历经所有级联深度学习网络,最终得到匹配链表即为基于级联匹配的快速再辨识结果。本发明中,随着深度学习网络级数的增加,对应的深度学习网络所处理的样本组合数量递减。因此,本发明能够有效地实现大规模的行人或车辆再辨识任务的快速执行,有效提升匹配速度,可应用于大规模的行人或车辆再辨识任务的快速执行。

    一种基于Gabor特征和灰度共生矩阵的视频帧内编码快速算法

    公开(公告)号:CN111526371A

    公开(公告)日:2020-08-11

    申请号:CN202010366824.6

    申请日:2020-04-30

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于Gabor特征和灰度共生矩阵的视频帧内编码快速算法,属于视频编码领域。本方法利用灰度共生矩阵非零值个数与编码树单元(Coding Tree Unit,CTU)分割深度的关系,设定阈值预判编码模块的分割深度,得到不同阈值对应的深度区间;然后对深度范围内的编码单元(Coding Unit,CU)利用Gabor特征进行分类,并进行平坦块和复杂块的划分,最后根据不同的CU类型选择不同编码方案。本发明一种基于Gabor特征和灰度共生矩阵的屏幕内容视频帧内编码快速算法能够减少编码器计算开销,在保持视频质量基本不变的情况下,减少编码时间。

Patent Agency Ranking