-
公开(公告)号:CN119783799A
公开(公告)日:2025-04-08
申请号:CN202510296663.0
申请日:2025-03-13
Applicant: 南京信息工程大学
Abstract: 本发明提供了一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法,包括以下步骤:步骤1,生成动态提示模板:根据任务需求选择合适的模板结构并使用自适应引导机制动态调整模板结构;步骤2,建立多模态特征编码器,将文本和图像数据转换为用于本模型训练的特征向量;步骤3,多粒度跨模态聚合MCA:将不同模态和不同粒度的特征进行融合;步骤4,设计多任务联合损失函数,优化模型在两个以上多模态任务中的性能并进行训练。本发明方法能够更全面地理解图像内容,从而提高推理准确性。
-
公开(公告)号:CN119783799B
公开(公告)日:2025-05-13
申请号:CN202510296663.0
申请日:2025-03-13
Applicant: 南京信息工程大学
Abstract: 本发明提供了一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法,包括以下步骤:步骤1,生成动态提示模板:根据任务需求选择合适的模板结构并使用自适应引导机制动态调整模板结构;步骤2,建立多模态特征编码器,将文本和图像数据转换为用于本模型训练的特征向量;步骤3,多粒度跨模态聚合MCA:将不同模态和不同粒度的特征进行融合;步骤4,设计多任务联合损失函数,优化模型在两个以上多模态任务中的性能并进行训练。本发明方法能够更全面地理解图像内容,从而提高推理准确性。
-
公开(公告)号:CN119458333A
公开(公告)日:2025-02-18
申请号:CN202411641512.6
申请日:2024-11-18
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种基于ROS的智能路径规划与货物侧投方法及智能小车,首先打印带摄像头的下吸式吸盘支架安装于智能小车机械臂末端;使用基于Dijkstra的全局路径和TEB的局部路径导航智能小车至分拣台进行平行矫正使其与分拣台平行;若智能小车机械臂臂展长度小于所需抓取伸展距离,对小车位姿进行类三角路径规划矫正;控制机械臂朝特定角度伸出特定距离进行偏转角度抓取,利用基于深度神经网络的二维码增强与识别算法进行货物二维码两阶段识别;最后根据所有货物投递位置,规划最优导航路径并判断侧向投递方向,实现目标货物抓取和投放。本发明方法优化了货物抓取过程的精度和效率,有效提升了智能路径规划与货物侧投方法的整体性能。
-
-