公开(公告)号：CN117400242A

公开(公告)日：2024-01-16

申请号：CN202311390080.1

申请日：2023-10-23

Applicant: 之江实验室 ,  东南大学

Inventor： 宋伟 ,  钱堃 ,  廖建峰 ,  张卓旸

IPC: B25J9/16

Abstract: 本发明公开了一种凝视引导的机器人交互式物品抓取方法、系统、设备及存储介质，所述方法包括以下步骤：(1)采用RGB‑D相机采集桌面物体场景图像，生成包括物体之间相对位置关系的树状结构描述；(2)在RGB‑D相机中采用几何特征方法计算人的头部姿态，在3D空间中估计人的视线向量；(3)计算人的视线沿长线与物体点云交汇情况，判断人的视线是否足够精确地选中某个物品；(4)生成包含物体及其相对位置关系的机器人输出语音提示，询问到底指代哪个物品，待人语音确认后最终锁定物体；(5)在RGB‑D点云中估计物体6D姿态，最终引导机器人完成抓取；本发明避免了仅靠视觉造成的锁定错误目标物品，锁定指代目标物体的效率更高。

公开(公告)号：CN109055549A

公开(公告)日：2018-12-21

申请号：CN201810863020.X

申请日：2018-08-01

Applicant: 东南大学

Inventor： 樊红 ,  宋伟 ,  辜跃俊 ,  陆森 ,  李懿萍 ,  钱言言

IPC: C12Q1/6886 ,  A61K45/00 ,  A61P35/00

CPC classification number: C12Q1/6886 ,  A61K45/00 ,  A61P35/00 ,  C12Q2600/106 ,  C12Q2600/118 ,  C12Q2600/158

Abstract: 本发明属于生物技术领域，特别是涉及医学诊断领域，更为具体的说是涉及TRERNA1基因在预测、提高肝癌药物索拉菲尼敏感性中的应用，可以通过对肝细胞肝癌预后预测和肝癌化疗耐药评估进行标记，并利用RNA原位杂交技术或者qPCR检测TRERNA1基因的表达水平，从而获得预测肝细胞肝癌预后和化疗耐药的情况，且TRERNA1基因的引入方式简单，整个预测评估简便易行，可行性高。

公开(公告)号：CN117392493A

公开(公告)日：2024-01-12

申请号：CN202311372830.2

申请日：2023-10-23

Applicant: 之江实验室 ,  东南大学

Inventor： 宋伟 ,  钱堃 ,  廖建峰 ,  张卓旸

IPC: G06V10/80 ,  G06V10/26 ,  G06V10/22 ,  G06V20/56 ,  G06V10/82 ,  G06V10/774

Abstract: 本发明公开了一种融合凝视的视听协同物品指代表达理解与分割方法、系统、设备及存储介质，所述方法包括以下步骤：(1)通过对物品指代OCID‑Ref数据集进行预处理，构建指代意图欠明确表达的数据集OCID‑underRef；(2)构造凝视引导的视觉定位网络GVG；(3)在真实人机交互场景下通过部署凝视引导的视觉定位网络来实现交互式人机物品递送；本发明减轻了数据集采集与标注的人力工作量；能够在语言描述的物品指代意图欠明确的情况下，结合人的凝视注意力检测来克服不确定性，尽量避免了因物品指代意图模糊而造成的人机多次问答交互。

公开(公告)号：CN117260730A

公开(公告)日：2023-12-22

申请号：CN202311426975.6

申请日：2023-10-30

Applicant: 之江实验室 ,  东南大学

Inventor： 宋伟 ,  钱堃 ,  廖建峰 ,  孙轶楠 ,  岳照坤

IPC: B25J9/16 ,  B25J18/00

Abstract: 本发明涉及人机协同领域，公开一种人机物品交递意图预测方法，包括以下步骤：1)采集物品交递过程中的人机联合轨迹，划分空间子区域。2)训练三级核化运动基元模型。3)在预测阶段，通过相机采集含人脸部和桌面物品的场景图像，采用凝视估计网络预测凝视区域热力图，从凝视区域热力图中定位人注视的桌面某个物品。在被锁定物体上计算抓取姿态并变换到机械臂基坐标系下，控制机械臂抓取该物品。4)同时通过相机实时检测人手位置，采用训练好的三级核化运动基元模型来针对人手位置预测机械臂末端的响应位置，为机器人生成与人伸手动作当前位置及其趋势相协调的末端运动轨迹，从而完成机器人与人之间的交递动作。

公开(公告)号：CN109055549B

公开(公告)日：2022-01-21

申请号：CN201810863020.X

申请日：2018-08-01

Applicant: 东南大学

Inventor： 樊红 ,  宋伟 ,  辜跃俊 ,  陆森 ,  李懿萍 ,  钱言言

IPC: C12Q1/6886 ,  A61K45/00 ,  A61P35/00

Abstract: 本发明属于生物技术领域，特别是涉及医学诊断领域，更为具体的说是涉及TRERNA1基因在预测、提高肝癌药物索拉菲尼敏感性中的应用，可以通过对肝细胞肝癌预后预测和肝癌化疗耐药评估进行标记，并利用RNA原位杂交技术或者qPCR检测TRERNA1基因的表达水平，从而获得预测肝细胞肝癌预后和化疗耐药的情况，且TRERNA1基因的引入方式简单，整个预测评估简便易行，可行性高。

公开(公告)号：CN117359626A

公开(公告)日：2024-01-09

申请号：CN202311386039.7

申请日：2023-10-23

Applicant: 之江实验室 ,  东南大学

Inventor： 宋伟 ,  钱堃 ,  廖建峰 ,  孙轶楠 ,  岳照坤

IPC: B25J9/16

Abstract: 本发明涉及人机协同运动轨迹模仿学习领域，公开一种基于核化运动基元的人机协同铺盖轨迹模仿学习方法，包括以下步骤：1)采集人机协同铺盖过程中的人机联合示教轨迹，并进行预处理，从而构建训练样本。2)采用核化运动基元模型，在训练样本中学习人手位置与机械臂末端位置间的非线性关系。3)采用基于语义分割的织物抓取点检测方法识别并抓取布匹一角；4)在预测阶段，依据由RGB‑D相机检测获取的人手位置，实时地预测机械臂末端的响应位置，为机器人生成与人手当前位置及其运动趋势相协调的末端运动轨迹，从而完成人机协同铺盖动作。