公开(公告)号：CN117036416A

公开(公告)日：2023-11-10

申请号：CN202311082425.7

申请日：2023-08-25

Applicant: 华侨大学

Inventor： 黄德天 ,  徐正军 ,  黄小茜 ,  刘航 ,  曾焕强 ,  陈婧 ,  陈龙涛

IPC: G06T7/246 ,  G06T7/277 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于深层交互注意力机制的目标跟踪方法、装置及可读介质，该方法包括：获取视频序列，并分别从视频序列和第一帧中提取当前帧和模板帧；构建目标跟踪模型并训练，目标跟踪模型包括特征提取模块、Sim模块、判别定位模块和通道微调模块；将当前帧和模板帧输入经训练的目标跟踪模型，通过特征提取模块提取若干特征，将若干特征中的其中一个特征和模板帧输入Sim模块，得到前景特征图和前景概率特征图，将若干特征中的其中一个特征和模板帧输入判别定位模块，得到定位特征图，将前景特征图、前景概率特征图和定位特征图进行融合，得到混合特征图，将若干特征中的其余特征与混合特征图输入通道微调模块，得到目标跟踪结果，提高鲁棒性。

公开(公告)号：CN116452631A

公开(公告)日：2023-07-18

申请号：CN202310306107.8

申请日：2023-03-27

Applicant: 华侨大学

Inventor： 陈龙涛 ,  廖国兴 ,  曾焕强 ,  朱建清 ,  黄德天 ,  傅玉青 ,  施一帆

IPC: G06T7/246 ,  G06V10/74

Abstract: 本发明涉及一种多目标跟踪方法、终端设备及存储介质，该方法中包括：读取视频信息；对视频信息中的帧图像进行目标分割，得到目标的像素级信息和表观特征信息；基于卡尔曼滤波算法对各帧图像中的轨迹进行预测；基于前一帧图像中的轨迹和当前帧图像中目标的表观特征信息，计算两者之间的外观相似度，提取外观相似度大于相似度阈值的轨迹和目标作为预匹配轨迹和预匹配目标，将预匹配目标存入匹配目标集；计算预匹配轨迹与预匹配目标之间的代价矩阵，计算未匹配轨迹与未匹配目标之间的Mask‑IoU分数，将两者融合得到最终代价矩阵；通过匈牙利算法得到轨迹匹配结果。本发明相比于现有方法可以兼具效率与性能。

公开(公告)号：CN116405683A

公开(公告)日：2023-07-07

申请号：CN202310449794.9

申请日：2023-04-24

Applicant: 华侨大学

Inventor： 陈婧 ,  周廷开 ,  曾焕强 ,  朱建清 ,  施一帆 ,  林琦

IPC: H04N19/147 ,  H04N19/176 ,  H04N19/149 ,  H04N19/11 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于3D‑HEVC深度图模式预测的深度图编码方法、装置及可读介质，通过构建基于卷积网络的DMM模式预测模型并进行训练，得到经训练的DMM模式预测模型；将待编码深度图序列划分得到第一级别尺寸下的若干个当前待编码块，将当前待编码块输入经训练的DMM模式预测模型，输出的网络预测值为当前待编码块的编码过程中是否需要将DMM模式加入对应尺寸的全率失真代价计算列表的标签值；采用3D‑HEVC编码器对当前待编码块进行编码，在编码过程中调用网络预测值，并确定当前待编码块在对应尺寸下的最佳模式；以判断是否需要将DMM模式加入对应尺寸的全率失真代价计算列表，可避免直接将DMM模式加入全率失真代价计算列表，导致对DMM模式冗余的率失真计算过程。

公开(公告)号：CN111126310B

公开(公告)日：2023-03-24

申请号：CN201911367254.6

申请日：2019-12-26

Applicant: 华侨大学

Inventor： 曾焕强 ,  蔡磊 ,  朱建清 ,  曹九稳 ,  张云 ,  马凯光

IPC: G06V40/10 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0475 ,  G06N3/0464 ,  G06N3/094

Abstract: 本发明涉及一种基于场景迁移的行人性别识别方法，包括场景迁移过程与性别识别过程。本发明通过对偶生成对抗模型对来自不同场景的行人图像集进行图像迁移，减小不同数据集中行人场景的差异。利用迁移图像训练卷积神经网络，使网络模型具有较高精度的性别识别能力。本发明结合了对偶生成对抗模型用于图像迁移的优点，解决了以往基于卷积神经网络在行人性别识别问题上的不足，有效地提高了行人性别识别精度。本发明可以被广泛地应用在智能视频监控场景，大型商场的人口统计等。

公开(公告)号：CN115546251A

公开(公告)日：2022-12-30

申请号：CN202211279274.X

申请日：2022-10-19

Applicant: 华侨大学

Inventor： 陈龙涛 ,  汪勇衡 ,  曾焕强 ,  朱建清 ,  黄德天 ,  施一帆

IPC: G06T7/246 ,  G06V10/74 ,  G06N3/08 ,  G06N3/04 ,  G06V10/82

Abstract: 本发明一种基于GIoU门限机制的在线多目标跟踪方法、设备和存储介质，提出一种加入到级联匹配过程的GIoU门限机制GIGM，以提高关联性能、解决长距离标识切换问题，当目标和检测距离较远时，GIGM可以有效防止匹配和长距离标识切换，CIoU匹配被用作第二关联策略，以获得更好和更合理的跟踪结果。即使检测目标在外观上高度相似，但当它们的位置相距很远时，GIGM可以防止该错误匹配。

公开(公告)号：CN115424168A

公开(公告)日：2022-12-02

申请号：CN202210975931.8

申请日：2022-08-15

Applicant: 华侨大学

Inventor： 曾焕强 ,  黄海靓 ,  陈婧 ,  朱建清 ,  施一帆 ,  黄德天

IPC: G06V20/40 ,  G06N3/04 ,  G06N3/08 ,  G06V10/40 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于自适应3D卷积的屏幕视频质量评价方法及装置，获取屏幕视频，基于局部视频活动度Γ(Px,y,t)对屏幕视频进行自适应分割，得到屏幕视频序列集合，屏幕视频包括参考屏幕视频和失真屏幕视频，屏幕视频序列集合包括参考屏幕视频序列集合和失真屏幕视频序列集合；通过3D卷积神经网络分别提取参考屏幕视频序列集合的参考时空卷积特征STr以及失真屏幕视频序列集合的失真时空卷积特征STd；采用双尺度卷积神经网络对参考时空卷积特征STr和失真时空卷积特征STd实现双通道时空特征融合，计算得到失真屏幕视频的质量评价分数。着重于考虑人眼视觉系统特性及屏幕视频本质信息，模拟人类视觉系统的多通道视觉处理过程，从不同角度实现对失真屏幕视频的质量预测。

公开(公告)号：CN111510721B

公开(公告)日：2022-11-01

申请号：CN202010278978.X

申请日：2020-04-10

Applicant: 华侨大学

Inventor： 陈婧 ,  林琦 ,  曾焕强 ,  朱建清 ,  蔡灿辉

IPC: H04N19/39 ,  H04N19/132 ,  H04N19/59 ,  H04N19/124 ,  H04N19/61

Abstract: 本发明提供了一种基于空间下采样的多描述编码高质量边重建方法，包括，制作数据集：选取视频，通过空间下采样分成两个描述，在量化参数QP值设定下，编码，解码，将解码后的视频和相应的原始视频作为训练集；训练SD‑VSRnet网络：每五帧视频作为网络的输入，依次进行特征提取，恢复高频细节，像素重排，再与输入的中间帧进行跳跃连接得到重建的视频帧，逐帧重建获得最后的重建视频，实现SD‑VSRnet网络的训练。本发明提出的方法制作了适用于空间下采样的多描述编码高质量边重建的数据集，另外，采用视频超分辨率的神经网络，分别测试4种QP值，可以有效提高不同压缩程度的边缘解码视频重建质量。

公开(公告)号：CN114972812A

公开(公告)日：2022-08-30

申请号：CN202210624115.2

申请日：2022-06-02

Applicant: 华侨大学 ,  厦门亿联网络技术股份有限公司

Inventor： 朱建清 ,  赵倩倩 ,  涂美霞 ,  曾焕强 ,  黄诚惕 ,  廖昀 ,  冯万健 ,  杜吉祥 ,  蔡灿辉

IPC: G06V10/74 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于结构相似度的非局部注意力学习方法，可广泛应用于机器视觉领域，例如图像分割、图像分类、图像识别等。现有非局部注意力方法简单计算不同空域位置的两个信号内积作为二者的相似度度量，并不完全符合人类视觉感知特点。针对这一问题，本发明提出利用结构相似度衡量不同空域位置的信号之间的相似度，在非局部注意力学习方法中充分考虑人类视觉对信号感知三个重要因素，即亮度、对比度和结构。其次，本发明进一步提出多尺度结构相似度度量策略，在不同尺度上更为全面地进行信号相似度度量。因此，本发明能够取得比现有非局部注意力方法更好地注意力学习效果。

公开(公告)号：CN114817596A

公开(公告)日：2022-07-29

申请号：CN202210390000.1

申请日：2022-04-14

Applicant: 华侨大学

Inventor： 曾焕强 ,  阮海涛 ,  朱建清 ,  曹九稳 ,  侯军辉 ,  王勇涛 ,  施一帆

IPC: G06F16/532 ,  G06F16/583 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出一种融合语义相似性嵌入和度量学习的跨模态图文检索方法，具体包括：首先构建特征嵌入模块抽取每个模态的深度特征，然后在图像和文本的单模态表征空间和跨模态公共表征空间通过标签域监督信息和语义一致性监督信息分别进行表征学习。同时，设计一个深度相似性度量网络对融合后的图像文本对进行相似性比较，得到相似性得分，通过语义相似性矩阵监督相似性学习。通过损失函数将模型统一到一个整体的框架内，训练可得到端到端的跨模态图文检索模型。通过实验表明，本发明能够有效解决跨模态图文检索中精确度不高的问题。

公开(公告)号：CN114710667A

公开(公告)日：2022-07-05

申请号：CN202210269314.6

申请日：2022-03-18

Applicant: 华侨大学

Inventor： 曾焕强 ,  焦超 ,  曹九稳 ,  朱建清 ,  陈婧 ,  施一帆 ,  黄德天

IPC: H04N19/107 ,  H04N19/11 ,  H04N19/96

Abstract: 本发明公开了一种针对H.266/VVC屏幕内容帧内CU划分的快速预测方法及装置，通过收集屏幕内容视频建立数据库，用于训练模型；构建宽度自适应网络模型，预测两种不同尺寸CU的划分方式，预测步骤如下：先采用网络模型对64×64大小的CU进行划分方式预测，若为不划分，则停止CU的RD代价计算，若为划分，则得到4个32×32大小的CU，则采用网络模型对32×32大小的CU的划分方式进行预测，若为不划分，则停止RD的代价计算，若为四叉树划分，则得到4个16×16的CU：若为多种类型叉树划分，则需要依靠标准编码器进行计算；最后设定适当的预设阈值来提高预测准确率。本发明能够在保持H.266/VVC编码效率的前提下，有效地降低H.266/VVC屏幕内容的帧内预测编码计算复杂度。