一种基于图卷积和Transformer复合神经网络的行为识别方法

    公开(公告)号:CN116246338A

    公开(公告)日:2023-06-09

    申请号:CN202211649047.1

    申请日:2022-12-20

    Inventor: 龚勋 吕金荣

    Abstract: 本发明公开了一种基于图卷积和Transformer复合神经网络的行为识别方法,通过开源人体姿态估计框架OpenPose对视频流进行人体姿态估计得到视频中每一帧的人体部位的关键节点坐标数据;图处理模块将人体部位关键节点坐标数据处理成图数据结构,得到人体骨架序列特征矩阵,作为图卷积模型的输入;通过图卷积模型建模空间维度上的特征;通过输入端适配模块进行Transformer模块的输入端适配;通过Transformer模型建模时间维度上的特征;通过分类头部输出模型的预测结果;迭代训练和优化得到最终的复合神经网络,输出最终的动作识别结果。本发明结合了图卷积神经网络和Transformer神经网络各自的优点,提供了一种既满足输入数据轻量、抗干扰能力强,又能够有效建模持续时间较长的视频行为识别方法。

    一种基于迁移学习的多尺度特征图像分类方法

    公开(公告)号:CN114821097B

    公开(公告)日:2023-04-18

    申请号:CN202210365307.6

    申请日:2022-04-07

    Inventor: 龚勋 樊琳

    Abstract: 本发明涉及多尺度特征图像分类技术领域,涉及一种基于迁移学习的多尺度特征图像分类方法,包括以下步骤:S1、构建数据集;包括源域和目标域;S2、使用多尺度特征提取网络在源域上训练模型对特征进行提取;S3、将提取的特征送入分类网络进行分类训练;S4、进行迁移学习下的相同任务不同域的数据集分类训练。本发明在一个模型训练任务中针对某种类型数据获得的关系可以轻松地应用于同一领域的不同问题。

    一种乳腺超声造影视频中病灶区形态自动标注方法

    公开(公告)号:CN111462049A

    公开(公告)日:2020-07-28

    申请号:CN202010159426.7

    申请日:2020-03-09

    Abstract: 本发明公开了一种乳腺超声造影视频中病灶区形态自动标注方法,设计一个端到端的网络模型结构只需将待识别数据送入模型中,模型自动对每帧图像进行卷积操作,提取出分类依据的判别特征。整个识别过程中无需人工勾画病灶区范围,因为某些病灶形态特征描述有关正常组织下的造影变化与病变组织造影变化对比,如增强强度、增强时序等,因此使用卷积神经网络中的卷积自动对整个造影视频帧序列进行卷积计算,通过计算得出的特征值表现出正常组织与病变区域的映射数据,并根据网络规则进行对比得出结果。此外,如蟹足状、增强顺序等形态特征,使用所设计网络对视频连续帧的时空特征自动计算出该形态动态变化所对应的特征。

    基于情绪认知的人群疏散可视化方法

    公开(公告)号:CN111339668A

    公开(公告)日:2020-06-26

    申请号:CN202010129850.7

    申请日:2020-02-28

    Abstract: 本发明公开了基于情绪认知的人群疏散可视化方法,包括步骤:构建人群疏散导航网格、初始化人群、紧急事件发生后计算每个个体的情绪和运动速度、根据人群运动信息计算可行走区域的人群密度并对导航网进行更新、根据基于密度信息的导航图搜索算法为每个个体规划最短路径或最快路径、以图形化的方式实现人群疏散可视化。本发明的有益效果在于:区别于传统人群疏散可视化方法,本发明有效地提高了人群疏散可视化的真实性;区别于传统的导航图算法,本发明保证了人群疏散可视化中个体行为的多样性;区别于传统的个体几何表示方法,本发明保证了人群疏散的高效性。

    基于小波变换的铁路轨道里程数据的校准方法

    公开(公告)号:CN108876962A

    公开(公告)日:2018-11-23

    申请号:CN201810578845.7

    申请日:2018-06-07

    Abstract: 基于小波变换的铁路轨道里程数据的校准方法,属于轨道几何参数检测技术领域。本发明利用台账数据的曲线信息对采样数据的的每个区段进行逐一修整并以此作为标准数据,利用小波变换提取标准数据区段和待校准数据区段的高频细节部分作为特征值,基于余弦相似度原理寻找与待校准的采样数据区段相匹配的标准数据区段,并依据标准数据的区段对采样数据区段进行增加或删减数据点处理,最后自待校准的采样数据首区段起始点至末区段终止点按序对数据点的里程值逐一更新。运用本发明的方法进行里程校准,能够获取采集样点里程值相对准确的轨道检测数据,进而为一线工务人员科学防治铁路病害提供了参考数据,也为后续的分析奠定了基础。

    一种基于维度重排序降低平行坐标可视化视觉杂乱的方法

    公开(公告)号:CN108319569A

    公开(公告)日:2018-07-24

    申请号:CN201810045719.5

    申请日:2018-01-17

    Abstract: 本发明公开了一种基于维度重排序降低平行坐标可视化视觉杂乱的方法,包括如下步骤:首先计算样本在任意两个属性轴间的杂乱度,得到杂乱度矩阵;其次,根据杂乱度矩阵,寻找使得杂乱度之和最小的属性轴排列方式;最后按照得到的属性轴排列顺序将平行坐标轴绘制出来,得到杂乱度最低的平行坐标可视化视图。本发明有效地降低了平行坐标可视化因维度次序排列不当所产生的视觉杂乱,通过减少曲线的交叉点数量,为用户提供了更直观地了解、分析数据的功能。

    一种基于肝脏超声造影图像的实时跟踪及定量分析方法

    公开(公告)号:CN107169998A

    公开(公告)日:2017-09-15

    申请号:CN201710430522.9

    申请日:2017-06-09

    Abstract: 本发明属于计算机视觉、数字图像处理技术领域,具体涉及一种基于肝脏超声造影图像的实时跟踪及定量分析方法。本发明主要包括:(1)从肝脏序列图像的初始帧中选取感兴趣区域,采用光流法和粒子滤波法相结合的方法确定候选区域;(2)利用深度神经网络提取候选样本的特征,获得跟踪结果;(3)通过相似度匹配判定当前跟踪结果的准确性;(4)量化观察点区域的造影参数,排除图像中的波动式干扰,采用三次样条插值法拟合时间强度曲线,使医生的视觉和鉴别诊断更加直观。相比于现有技术,本发明利用组织形变具有周期的特性,通过全局和局部区域结合的方法,使其在跟踪效果和速度上具有显著优势。

    一种基于多模态融合的胃肠道肿瘤图像多属性分类方法、设备及介质

    公开(公告)号:CN119380069A

    公开(公告)日:2025-01-28

    申请号:CN202411293722.0

    申请日:2024-09-14

    Inventor: 龚勋 郑岑洋 樊琳

    Abstract: 本发明公开了一种基于多模态融合的胃肠道肿瘤图像多属性分类方法、设备及介质,包括如下:构建多模态胃肠道肿瘤数据集;对数据集进行分层操作;构建图像特征提取网络,使用图像特征提取网络分别提取数据集中EUS图像与WLE图像特征;构建多属性分类网络,利用图像特征对肿瘤属性进行多属性分类训练,训练完成后,利用该网络对待测肿瘤图像进行预测,得到网络预测补全后的肿瘤属性;病灶属性引导下的跨模态注意力融合及肿瘤性质分类,最终输出待测肿瘤图像的肿瘤性质分类。本发明通过跨模态注意力融合操作,让模型学习EUS模态与WLE模态中互补的内容,通过对肿瘤缺失的属性进行补充,并利用补充后的属性数据对患者肿瘤的性质进行分类,用于辅助诊断结果。

    基于卷积神经网络和扩散模型的纸本经图数字化修复方法

    公开(公告)号:CN117649365B

    公开(公告)日:2024-08-09

    申请号:CN202311537090.3

    申请日:2023-11-16

    Abstract: 本发明涉及计算机视觉及图像修复技术领域,提供一种基于卷积神经网络和扩散模型的纸本经图数字化修复方法,包括:1、图像预处理;2、训练和微调基于CNN的边缘检测模型DexiNed,获得草图;3、加入交互信息,用户可在草图的基础上增加或者删除线条;4、训练基于DM的风格迁移模型InST;5、调整参数优化模型,获得线稿图;6、构建数据集;7、训练Stable Diffusion:使用LoRa技术进行微调,获得具有经图画风的模型;8、利用ControlNet进行推理:加入线稿条件,在经图风格的模型上输入文字实现着色功能。本发明能较佳地进行纸本经图数字化修复。

    一种抗噪声数据的人脸识别模型训练方法

    公开(公告)号:CN110879985B

    公开(公告)日:2022-11-11

    申请号:CN201911129505.7

    申请日:2019-11-18

    Inventor: 龚勋 周炀 章哲敏

    Abstract: 本发明公开了一种抗噪声数据的人脸识别模型训练方法,包括如下步骤:S1、构建人脸识别数据集,按照个体ID进行分类;S2、对步骤S1所获得的数据集进行预处理;S3、根据步骤S2的预处理结果,构建20层的ResNet网络结构提取特征,使用ArcFace损失函数训练人脸识别模型;S4、统计最近一定数量Batch中cosθ值的分布情况,以cosθ值为横坐标,同一个cosθ的数量为纵坐标,绘制曲线图P;S5、重复步骤S4,直到cosθ分布呈现两个高斯分布,分别计算两个高斯分布顶点横坐标α、β和交点横坐标λ;S6、根据α、β值的大小,判断模型拟合情况,动态调整损失函数。本发明能够自动过滤噪声数据扰,提高模型训练效果。

Patent Agency Ranking