一种基于不确定性跨粒度证据特征融合网络的视觉意图理解方法、系统及存储介质

    公开(公告)号:CN118196592A

    公开(公告)日:2024-06-14

    申请号:CN202410389698.4

    申请日:2024-04-02

    Abstract: 本发明公开了一种基于不确定性跨粒度证据特征融合网络的视觉意图理解方法、系统及存储介质,包括构建不确定性跨粒度证据特征融合网络,获得不同粒度下的各意图类别对应的二元隶属证据对;对齐证据对的跨粒度层次表示;构建证据指导的不确定性估计网络;融合来自不同粒度的意见;将训练图像经过跨粒度证据特征融合网络得到意图理解结果,送入二元证据损失函数,对不确定性跨粒度证据特征融合网络进行训练;将测试图像输入到训练好的跨粒度证据特征融合网络,获得对图像背后人类意图的理解结果。本发明还包括基于层次关系的跨粒度证据对齐策略,将不同粒度层下的结果对齐为统一的形式;基于不确定性的意见组合规则,融合来自不同粒度的意见。本发明将证据理论融入不确定性框架,利用不确定性指导跨粒度融合,增强了网络对跨粒度信息的表征能力,大大降低了意图类别歧义所带来的影响,提高对视觉内容的全面理解和对其背后人类意图的识别能力,从而提高人机视觉交互的能力。

    一种基于深度学习PID优化器的图像分类方法

    公开(公告)号:CN117975135A

    公开(公告)日:2024-05-03

    申请号:CN202410135709.6

    申请日:2024-01-31

    Abstract: 本发明公开一种基于深度学习PID优化器的图像分类方法,针对模型内的不同层子网络使用生成算法自适应生成各自的KP,KI和KD系数;在内环使用PID优化器更新模型内环可学习参数,在外环使用Adam优化器更新模型外环可学习参数。本发明的基于深度学习PID优化器的图像分类方法,采用了基于PID优化器的图像分类方法解决了现有图像分类任务效率慢精度低的问题,采用了生成算法自适应生成模型各层子网络的KP,KI和KD系数,解决PID控制算法中的人工调节参数的问题,具有更强的自适应能力和更高的识别精度,能快速适应新的任务。

    一种多粒度层谱融合的场合认知方法

    公开(公告)号:CN119226921A

    公开(公告)日:2024-12-31

    申请号:CN202411289182.9

    申请日:2024-09-14

    Abstract: 本发明公开了一种多粒度层谱融合的场合认知方法,包括以下步骤:采集不同场合下的视频图像和音频数据,对视频图像和音频数据进行人物面部、骨架、场合描述、人物交互检测、场合背景、场合类别及情感类别进行标注,构建基于深度学习的面部特征提取网络、骨架特征提取网络、文本特征提取网络、人物交互特征提取网络、背景特征提取网络和音频特征提取网络,分别提取场合中的不同粒度不同层谱的特征,并利用图神经网络进行特征融合,获得多粒度的层谱融合特征,最后构建分类器实现场合识别和情感识别,从而完成场合认知。本发明利用多层谱多粒度的场合特征,为场合认知提供了客观、连续的认知依据,从而实现更加精确的场合认知。

    基于自然手势和注视力意图融合的无人机导航控制方法

    公开(公告)号:CN119225420A

    公开(公告)日:2024-12-31

    申请号:CN202411289160.2

    申请日:2024-09-14

    Abstract: 本发明公开了一种基于自然手势和注视力意图融合的无人机导航控制方法,包括以下步骤:获得操控者的动态自然手势和注视力;利用动态自然手势意图理解模型和注视力意图理解模型得到自然手势意图概率分布和注视力意图概率分布;利用个体意图融合模型对自然手势意图概率和注视力意图概率进行融合,获得操控者对无人机的控制意图;利用控制意图和周围环境信息获得运动控制指令,无人机执行运动控制指令,实现操纵者的动态自然手势和注视力对无人机的导航控制。本发明利用操控者的动态自然手势和注视力传达操控者的控制意图,有效降低对操纵者技能水平的限制,提高复杂任务的时效性,提供更直观、自然且易于掌握的无人机导航控制方法。

    一种基于多RFID天线的奶牛占位识别方法

    公开(公告)号:CN104200248B

    公开(公告)日:2017-11-17

    申请号:CN201410415320.3

    申请日:2014-08-21

    Abstract: 一种基于多RFID天线的奶牛占位识别方法,包括转盘式挤奶设备,其特征在于包括控制系统、一组RFID天线、光电传感器、一组光电开关、牛只占位传感器和牛只标签;其中,牛只标签位于每头牛的身体上;将各个RFID的信息与各个传感器的信息进行有效的融合,使得牛只的编号可以和该牛挤奶的牛栏编号对应起来,需要人工抄录牛只编号的问题和单天线低功率查全率不高的问题,最终的查全率与正确率很高,能达到99%左右。

    一种基于卡尔曼滤波的模糊PID控制方法

    公开(公告)号:CN106020202A

    公开(公告)日:2016-10-12

    申请号:CN201610561137.3

    申请日:2016-07-15

    Applicant: 东南大学

    Inventor: 李新德 徐叶帆

    CPC classification number: G05D1/0221

    Abstract: 本发明公开了一种基于卡尔曼滤波的模糊PID控制方法,首先对AGV视觉定位系统获取到的AGV位姿信息进行卡尔曼滤波处理;然后使用模糊PID控制对卡尔曼滤波处理后的AGV位姿信息进行控制。不同于其他控制方案,本方法结合卡尔曼滤波与模糊PID控制器,既能提高AGV控制系统的性能与稳定性,又可以降低识别误差对系统的影响。

    一种基于DSmT和HMM的序列飞机目标识别方法

    公开(公告)号:CN103778441A

    公开(公告)日:2014-05-07

    申请号:CN201410065364.8

    申请日:2014-02-26

    Applicant: 东南大学

    Inventor: 李新德 潘锦东

    Abstract: 本发明公开了一种基于DSmT和HMM的序列飞机目标识别方法,首先,利用DSmT理论对飞机序列中的单幅图像进行多特征融合,以解决单一特征提供的信息不精确、不完全和不确定这一问题;然后,利用隐马尔可夫模型对飞机序列中的序列信息进行融合,利用序列融合来解决当飞机在姿态多变的情况下,在某一位置不同类别飞机的姿态比较相似,多特征融合提供的信息也不够准确这一问题。基于DSmT和HMM的飞机序列目标识别方法可以很好的利用多特征信息与序列信息来解决飞机目标识别中识别率低下这一问题。

    一种管材位置检测装置及方法

    公开(公告)号:CN103464527A

    公开(公告)日:2013-12-25

    申请号:CN201310452619.1

    申请日:2013-09-27

    Applicant: 东南大学

    Abstract: 本发明公开了一种管材位置检测装置及方法,所述装置包括激光发射端、激光接收端和控制器,激光发射端位于管材的下方,激光接收端位于管材的上方;激光发射端包括阵列式平置的LED和平置的菲涅尔透镜,菲涅尔透镜用于将LED的散射光折射成向上的平行光;激光接收端包括阵列式平置的激光接收管,激光接收管用于接收LED透过菲涅尔透镜折射出的光信号;相邻激光接收管之间的间距小于等于管材的直径;控制器用于接收所有激光接收管的检测信号并据此判断管材位置。本发明提供的管材位置检测装置及方法,只要管材在检测范围内就会有相应的信号输出,解决原有点式检测存在漏检的问题和摄像头检测的高成本问题,提高检测装置的抗抖动性。

    一种基于DSmT的图像目标多特征融合识别方法

    公开(公告)号:CN102222240B

    公开(公告)日:2013-04-03

    申请号:CN201110178416.9

    申请日:2011-06-29

    Applicant: 东南大学

    Inventor: 李新德 杨伟东

    Abstract: 本发明公开了一种基于DSmT的图像目标多特征融合识别方法,其首先,我们将提取图像目标的矩和轮廓等多个特征量作为证据源,以获得足够多的有用互补信息;接着,我们通过由广泛应用于分类的PNN神经网络来构造目标识别率矩阵;然后根据PNN网络的初识别结果和类似统计学中极大似然思想的规则,用目标识别率矩阵对基本信度进行赋值;最后用DSmT组合规则进行决策级数据融合,完成对三维目标的识别。本发明提供的基于DSmT的图像目标多特征融合识别方法,能够解决在三维目标识别中由于信息获取的不精确、不确定、不完全和高度冲突等导致目标识别率不高的问题。

Patent Agency Ranking