公开(公告)号：CN115293173A

公开(公告)日：2022-11-04

申请号：CN202210782020.3

申请日：2022-07-05

Applicant: 清华大学

Inventor： 刘华平 ,  卞港晖 ,  梁兰军 ,  袁小虎 ,  董言治

IPC: G06F40/35 ,  G06F40/284 ,  G06F40/247 ,  G06F40/166 ,  G06F16/31

Abstract: 本发明提出一种服务机器人在对话中提取动态信息的系统及方法，属于机器人自然语言处理和知识图谱更新领域。所述系统包括云端服务器及其连接的机器人，所述云端服务器用于通过从即时通讯软件中提取对话文本以提取任务及相关信息并发送给所述机器人；所述机器人用于执行所述任务并根据所述任务的执行情况更新自身的知识库。本发明使得机器人可以通过抽取社交通讯平台上用户之间的对话信息来更新自己的知识储备并获取用户需求，可以大大提高机器人获取信息的能力，来对机器人在实际应用中的能力进行补充。

公开(公告)号：CN113838042B

公开(公告)日：2023-11-10

申请号：CN202111163679.2

申请日：2021-09-30

Applicant: 清华大学

Inventor： 刘华平 ,  王凯丽 ,  王业飞 ,  王毅 ,  袁小虎 ,  董言治

IPC: G06T7/00 ,  G06V10/44 ,  G06V10/764 ,  G06N3/0442 ,  B25J9/16

Abstract: 本公开提供的双机械臂操作问答方法、装置、电子设备和存储介质，包括：将获取的操作场景的RGB图像和深度图像并行输入残差‑特征分层网络，以提取RGB图像和深度图像的特征映射；输入物品操作问题经过基于长短时记忆网络的自然语言处理模型处理后输出第一特征向量；将特征映射与第一特征向量进行连接得到双机械臂的操作初始状态；构建双机械臂问答操作模型，将操作初始状态输入至双机械臂问答操作模型中进行训练，输出双机械臂的操作动作，与环境进行交互，得到物品操作问题答案并输出。本公开打破了传统上问答系统的被动感知，将其转变为主动探索环境，并且双机械臂协同操作能够实现复杂任务的有序控制，减少对工装夹具的依赖。

公开(公告)号：CN113838042A

公开(公告)日：2021-12-24

申请号：CN202111163679.2

申请日：2021-09-30

Applicant: 清华大学

Inventor： 刘华平 ,  王凯丽 ,  王业飞 ,  王毅 ,  袁小虎 ,  董言治

IPC: G06T7/00 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  B25J9/16

Abstract: 本公开提供的双机械臂操作问答方法、装置、电子设备和存储介质，包括：将获取的操作场景的RGB图像和深度图像并行输入残差‑特征分层网络，以提取RGB图像和深度图像的特征映射；输入物品操作问题经过基于长短时记忆网络的自然语言处理模型处理后输出第一特征向量；将特征映射与第一特征向量进行连接得到双机械臂的操作初始状态；构建双机械臂问答操作模型，将操作初始状态输入至双机械臂问答操作模型中进行训练，输出双机械臂的操作动作，与环境进行交互，得到物品操作问题答案并输出。本公开打破了传统上问答系统的被动感知，将其转变为主动探索环境，并且双机械臂协同操作能够实现复杂任务的有序控制，减少对工装夹具的依赖。

公开(公告)号：CN117506894A

公开(公告)日：2024-02-06

申请号：CN202311454832.6

申请日：2023-11-03

Applicant: 清华大学

Inventor： 刘华平 ,  刘乐康 ,  董言治

IPC: B25J9/16 ,  B25J13/08 ,  B25J9/08 ,  B25J18/00

Abstract: 本发明提出一种基于触觉传感的机械臂人机安全协同控制系统及方法，属于人机交互及机械臂控制领域。其中，所述系统包括：人机通信模块、指令解析模块、视觉定位模块、触觉感知模块和机械臂控制模块。其中，机械臂控制模块根据指令解析模块发送的用户通过人机通信模块下达的指令和视觉定位模块发送的目标物体的位置坐标信息，控制机械臂进行目标物体的抓取；当机械臂遇到障碍物时，触觉感知模块采集障碍物的触觉数据并生成触觉信息图像，然后发送给机械臂控制模块进行避障。本发明可通过采集机械臂与外部环境接触的触觉信息，弥补机器视觉在实际应用过程中容易受环境条件影响的缺陷，提升机械臂执行复杂任务的效率。

公开(公告)号：CN115170918A

公开(公告)日：2022-10-11

申请号：CN202210708793.7

申请日：2022-06-22

Applicant: 清华大学

Inventor： 刘华平 ,  高晨峻 ,  袁小虎 ,  董言治

IPC: G06V10/82 ,  G06V10/774 ,  G06V10/764 ,  G06V10/74 ,  G06V30/148

Abstract: 本发明提出一种从红外图像中解译文字描述的方法及装置，属于计算机视觉和红外图像处理领域。其中，所述方法包括：获取红外图像，将所述红外图像输入预设的红外图像描述网络，得到所述图像对应的文字描述，所述文字描述包含所述红外图像中的目标以及所述目标之间的关系。本发明通过从红外图像获取目标及其周围的重要热源信息，可使人们可以在任意时间、任意地点对环境信息进行捕获和解译，不再局限于可见光充足的条件下，填补了环境信息解译在暗光或无光环境下使用范围的空白，对所关心目标在弱光或无光下的捕获与描述具有极大的实用意义。