公开(公告)号：CN115439790A

公开(公告)日：2022-12-06

申请号：CN202211151940.1

申请日：2022-09-21

Applicant: 华侨大学

Inventor： 杜吉祥 ,  王剑波 ,  张洪博 ,  翟传敏 ,  陈雁 ,  雷庆

IPC: G06V20/40 ,  G06V10/764

Abstract: 本发明实施例提供一种基于级联的种子区域生长模块的弱监督时序动作定位方法，涉及视频动作识别技术领域。其中，这种弱监督时序动作定位方法包含步骤S1至步骤S5。S1、获取待识别视频。S2、根据待识别视频，提取时序特征。S3、将时序特征输入预先训练好的弱监督时序动作分类模型，获取待识别类激活序列，并根据待识别类激活序列，获取视频级动作分类得分。S4、获取动作分类阈值，并根据动作分类阈值对视频级分类得分进行判断，获取待识别视频包含的动作类别。S5、根据动作类别和待识别类激活序列，获取动作类别在待识别视频中的起止时刻。解决现有的弱监督时序动作定位方法会陷入局部最优的问题，大大提高了视频中动作识别的精确度。

公开(公告)号：CN110555387B

公开(公告)日：2022-07-19

申请号：CN201910711578.0

申请日：2019-08-02

Applicant: 华侨大学

Inventor： 张洪博 ,  张翼翔 ,  杜吉祥 ,  雷庆

IPC: G06V40/20 ,  G06V10/80 ,  G06V10/774 ,  G06V10/764 ,  G06V10/50 ,  G06V10/62 ,  G06K9/62

Abstract: 本发明属于人工智能技术领域，公开了一种骨架序列中基于局部关节点轨迹时空卷的行为识别方法，自输入的RGB视频数据和骨架关节点数据中提取局部关节点轨迹时空卷；利用基于RGB视频数据集的预训练模型提取图像特征；对训练集中每个关节点的每一种不同的特征分别构建码本并且分别进行编码，将n个关节点的特征串联为特征向量；利用SVM分类器进行行为分类与识别。本发明将手工特征以及深度学习特征融合，并使用深度学习方法提取局部特征，多种特征的融合可以达到一个稳定且准确的识别率；本发明使用姿态估计算法估计的2D人体骨架以及RGB视频序列提取特征，成本较低，且精度较高，应用于真实场景有着重要的意义。

公开(公告)号：CN110633683B

公开(公告)日：2022-03-25

申请号：CN201910888992.9

申请日：2019-09-19

Applicant: 华侨大学

Inventor： 杜吉祥 ,  陈雪娟 ,  张洪博 ,  雷庆

IPC: G06V40/20 ,  G06V10/82 ,  G06V10/764 ,  G06V10/774 ,  G06N3/04 ,  G10L15/25

Abstract: 本发明公开了一种结合DenseNet和resBi‑LSTM的中文句子级唇语识别方法，本发明将唇语识别拆分为拼音预测与语言翻译两个部分，降低了唇语识别的难度。使用DenseNet提取视觉特征，充分利用浅层特征，有效缓解了梯度消失的问题，并且减少了网络的参数。使用1×1卷积代替全连接实现特征降维的功能，保留了特征中的空间信息，在唇语识别技术研究中，空间信息起着重要作用。使用resBi‑LSTM进行视觉特征的处理，最后得到结合了视觉特征和语义特征的复杂特征，减少了有效信息的损失，提高了唇语识别的准确率。

公开(公告)号：CN114170623A

公开(公告)日：2022-03-11

申请号：CN202111344563.9

申请日：2021-11-15

Applicant: 华侨大学

Inventor： 张洪博 ,  邓未末 ,  杜吉祥 ,  雷庆

IPC: G06V40/10 ,  G06N3/08 ,  G06N3/04 ,  G06V10/25 ,  G06V10/82

Abstract: 本发明提供了一种人物交互检测设备及其方法、装置、可读存储介质，包括：获取待检测的目标图像；根据所述目标图像生成输入参数集；输入参数集包括人体候选框集、物体候选框集、目标图像的全局特征和根据人体候选框集和物体候选框集生成HOI提议数据；调用训练好的基于多流架构的HOI检测模型；基于多流架构的HOI检测模型由多个不同流HOI检测模型并联形成；根据输入参数集获取各个流HOI检测模型的输入集，并将输入集输入至对应HOI检测模型，以获得每个HOI检测模型的输出；根据每个HOI检测模型输出计算得到最终交互预测分数，以输出采集到的目标图像中人物交互行为判断结果。旨在解决现有技术中HOI检测方法判断人物交互效果不佳，外观特征性能较差的问题。

公开(公告)号：CN112733912A

公开(公告)日：2021-04-30

申请号：CN202011634407.1

申请日：2020-12-31

Applicant: 华侨大学

Inventor： 杜吉祥 ,  王莹莹 ,  张洪博 ,  翟传敏 ,  黄政

IPC: G06K9/62 ,  G06K9/46 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于多粒度对抗损失的细粒度图像识别方法，包括以下步骤：使用区域混淆机制破坏图像全局信息，并进行图像增强，迫使网络更加关注图像区域信息；使用渐进式学习策略在深度神经网络的不同层提取特征，联合不同粒度的图像特征，对每一个特征和原图特征联合进行分类；获取多粒度对抗损失函数，来降低因破坏图像的全局结构而引起的噪声。本发明将数据的不同粒度区域混淆，实现了数据增强，迫使网络关注到不同粒度图像的局部信息，采用渐进式学习策略，对每个阶段的特征进行学习且连接最后S个阶段的特征从而实现多粒度信息互补，构建多粒度对抗损失降低因破坏图像的全局结构而引入的噪声，因此可以更准确和高效的识别子类图像。

公开(公告)号：CN112733796A

公开(公告)日：2021-04-30

申请号：CN202110089858.X

申请日：2021-01-22

Applicant: 华侨大学

Inventor： 张洪博 ,  董力嘉 ,  李明哲 ,  雷庆 ,  杜吉祥

IPC: G06K9/00 ,  G06K9/62

Abstract: 本发明实施例提供一种体育运动质量的评估方法、装置、设备，存储介质，涉及行为识别技术领域。其中，这种评估方法包括如下步骤：S101、获取包含特定体育运动的运动过程的视频，并根据体育运动的类型将视频分割成多个视频阶段。S102、将多个视频阶段输入至骨干网络模型，获得与多个视频阶段对应的多个特征表示。S103、构建回归网络模型。其中，回归网络模型采用基于难度系数的总得分为训练标签的方法训练。S104、将多个特征表示输入至回归网络模型，获得视频中的运动过程的评分。骨干网络模型保证评分过程中的动作特征能够完整，且语义信息足够丰富。回归网络模型大大提高了动作质量评估方法的性能。

公开(公告)号：CN106682233B

公开(公告)日：2020-03-10

申请号：CN201710029935.6

申请日：2017-01-16

Applicant: 华侨大学

Inventor： 杜吉祥 ,  聂一亮 ,  王靖 ,  范文涛 ,  张洪博 ,  刘海建

IPC: G06F16/583 ,  G06K9/62 ,  G06K9/54

Abstract: 本发明的一种基于深度学习与局部特征融合的哈希图像检索方法，所述方法包括五个部分:(1)图像的预处理；(2)用卷积神经网络对含有分类标签的图像进行训练；(3)用二值化方式生成图像的哈希码并提取1024维浮点型局部聚合向量；(4)用哈希码进行粗检索；(5)用局部聚合向量进行精检索。本发明的一种基于深度学习与局部特征融合的哈希图像检索方法提取两种特征后用近似最近邻搜索策略来进行图像检索，检索精确度高、检索速度快。

公开(公告)号：CN106250914B

公开(公告)日：2019-07-09

申请号：CN201610581635.4

申请日：2016-07-22

Applicant: 华侨大学

Inventor： 彭佳林 ,  王烨 ,  王靖 ,  张洪博

IPC: G06K9/62

Abstract: 本发明公开了一种基于结构稀疏多核学习的多模态数据特征筛选和分类方法，包括：提取数据特征，并对特征进行归一化；利用核函数为数据的每个特征构建一个核矩阵；根据数据特征将所有特征和其对应的核函数进行分组；利用带有类标签的训练数据训练结构稀疏化多核分类模型，并优化模型参数；使用训练好的结构稀疏化多核分类模型对测试数据进行分类。本发明方法将数据特征的选择和数据模态融合在统一的结构稀疏化多核分类模型中进行建模，并将结构稀疏化特征选择和基于最优核表示的分类器学习同时进行，提供了一种多模态数据特征筛选、融合和分类方法。

公开(公告)号：CN109447619A

公开(公告)日：2019-03-08

申请号：CN201811102281.6

申请日：2018-09-20

Applicant: 华侨大学

Inventor： 杜吉祥 ,  周以重 ,  张洪博 ,  上官县金 ,  雷庆

IPC: G06Q20/20 ,  G06K9/00 ,  G06Q20/38

Abstract: 本发明公开了一种基于开放环境的无人结算方法、装置、设备和系统，方法包括：接收光栅传感器组件传输的光栅光束状态信息，当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；当检测到被手部取走的商品时，将被取走的商品与人脸图像进行绑定，完成一次消费记录，当顾客进入结算区域时，采集顾客的人脸图像，并获取与人脸图像对应的所有消费记录，以形成账单完成结算。本发明提供了一种可靠性高，成本低的无人结算方案。

公开(公告)号：CN107203740A

公开(公告)日：2017-09-26

申请号：CN201710270419.2

申请日：2017-04-24

Applicant: 华侨大学

Inventor： 杜吉祥 ,  郑德鹏 ,  范文涛 ,  张洪博 ,  翟传敏

IPC: G06K9/00 ,  G06N3/08

CPC classification number: G06K9/00288 ,  G06K2009/00322 ,  G06N3/08

Abstract: 本发明提供一种基于深度学习的人脸年龄估计方法，其步骤包括S1：建立深度学习网络模型；S2：采用分类的方式预训练所述深度学习网络模型使所述深度学习网络模型具有分类能力；S3：在步骤S2的基础上进行微调，使所述深度学习网络模型具有学习表观年龄和估计表观年龄的能力；S4：在步骤S3的基础上使用所述真实年龄数据集中80％的数据集作为训练集进行所述深度学习网络模型的微调，然后使用所述真实年龄数据集中20％的数据集作为测试集进行所述深度学习网络模型的测试；S5：在所述卷积神经网络模型中的最后一个全连接层的softmax输出值，构建间接回归的方法估计年龄值。S6：输入被测人脸图像，得出所述被测人脸图像的人脸年龄。