公开(公告)号：CN119358552A

公开(公告)日：2025-01-24

申请号：CN202411363004.6

申请日：2024-09-27

Applicant: 同济大学

Inventor： 蒋烁 ,  刘佳航 ,  何斌 ,  王志鹏 ,  周艳敏 ,  张文博

IPC: G06F40/289 ,  G06F40/30 ,  G06F40/126 ,  G06N3/042

Abstract: 本发明涉及一种基于图神经网络的机器人感知数据分词表征与学习方法，包括以下步骤：获取机器人的多种感知数据；根据感知数据的类别进行分词表征；分词表征学习：基于分词表征后的感知数据构建初始特征图；基于自编码器学习特征图的紧凑表示，重建图结构，图结构表示不同节点之间的边的关系；自编码器完成图结构的学习后，固定图结构；将感知数据转化为节点特征向量，并基于学习到的图结构构建特征图，利用图神经网络对各节点特征向量进行数值编码，得到感知数据的高维特征向量表征。与现有技术相比，本发明具有能更好地表达感知数据的复杂性和多维度信息等优点。

公开(公告)号：CN116959068A

公开(公告)日：2023-10-27

申请号：CN202310836841.5

申请日：2023-07-07

Applicant: 同济大学

Inventor： 蒋烁 ,  刘佳航 ,  何斌 ,  朱忠攀 ,  周艳敏 ,  张文博

IPC: G06V40/16 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/0495 ,  G06N3/08

Abstract: 本发明涉及一种基于动态神经网络的多视角表情识别方法，包括以下步骤：获取待检测的图像；对图像进行人脸面部检测，分割出面部图像并进行人脸区域对齐；对对齐的面部图像进行图像预处理；构建基于深度卷积神经网络的表情识别模型并进行训练，表情识别模型包括依次连接的浅层特征提取层、多个由卷积采样模块和残差单元组成的块以及全连接层，以预处理后的图像作为输入，输出识别的表情结果，其中，卷积采样模块基于输入的特征图动态生成掩膜，生成的掩膜用于控制对应残差单元中卷积层的卷积位置，实现动态范围卷积；利用训练完成的表情识别模型进行多视角表情识别。与现有技术相比，本发明具有识别准确率高、鲁棒性好等优点。

公开(公告)号：CN116486455A

公开(公告)日：2023-07-25

申请号：CN202310378500.8

申请日：2023-04-11

Applicant: 同济大学

Inventor： 蒋烁 ,  刘佳航 ,  何斌 ,  周艳敏 ,  王志鹏 ,  张文博

IPC: G06V40/16 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于数字人的多视角表情识别方法，包括以下步骤：获取真实世界表情数据集；基于MetaHuman工具生成多角度下的多种表情的数字虚拟人脸，构建数字人表情数据集；构建角度分类模型用于对输入的图像进行角度分类；构建表情分类模型，并固定角度分类模型的网络权重，基于数字人表情数据集和真实世界表情数据集，结合角度分类模型的分类结果训练表情分类模型；基于小样本学习方法，利用训练完成的角度分类模型和表情分类模型的输出，对表情分类模型的网络参数进行调整，得到最优表情分类模型；基于角度分类模型和最优表情分类模型对输入的多视角表情进行识别。与现有技术相比，本发明具有真实场景下识别精准等优点。

公开(公告)号：CN119165958A

公开(公告)日：2024-12-20

申请号：CN202411305091.X

申请日：2024-09-19

Applicant: 同济大学

Inventor： 蒋烁 ,  张文博 ,  何斌 ,  王志鹏 ,  周艳敏

IPC: G06F3/01 ,  G06F3/16 ,  G06F18/25 ,  G06V10/25 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442

Abstract: 本发明涉及一种基于多模融合的意图理解个性化人机交互方法，其特征在于为凝视、语音和手势三种信息源设置权重，来迎合用户偏好，在信息融合过程中，通过对三种信息源加权得到预融合信息源，将四种信息源组合融合估计用户意图，用户对结果进行反馈，记录该结果是否符合用户预期，每预测指定次数后，根据这些预测结果更新模态权重，同时将有效的意图指令发送给机器人，机器人完成相应任务，与现有技术相比，本发明具有高准确率、高可靠度的优点，此外本发明可以根据用户反馈周期性调整权重，能够迎合用户偏好，并且在特定场景下，可以通过权重的调节以适应不同场景各模态的适应，提高了人机交互的应用场景，提供个性化人机交互体验等优点。

公开(公告)号：CN116141334A

公开(公告)日：2023-05-23

申请号：CN202310298646.1

申请日：2023-03-24

Applicant: 同济大学

Inventor： 蒋烁 ,  张文博 ,  何斌 ,  周艳敏 ,  魏延 ,  王志鹏 ,  陆萍 ,  朱忠攀

IPC: B25J9/16

Abstract: 本发明涉及一种双目机器人的双目异向运动控制方法、装置及存储介质，其中方法包括当：控制两个图像传感器独立异向运动，并持续获取两个图像采集单元采集的图像，判断采集的图像中是否包含目标对象，若为是，则进入目标跟踪模式；当进入目标跟踪模式后，若仅有一个图像传感器采集的图像中包含目标对象，控制转动直至两个图像传感器采集的图像中均包含目标对象，然后对于目标对象的位置和相机视野中心之间偏差，以及前后两帧之间的偏差增量，得到对两个图像传感器水平和竖直方向上的控制量，并根据得到的对两个图像传感器水平和竖直方向上的控制量，分配至各个舵机，得到各舵机的控制量。与现有技术相比，本发明具有控制灵敏度高且能耗低等优点。