公开(公告)号：CN116704272A

公开(公告)日：2023-09-05

申请号：CN202210180289.4

申请日：2022-02-25

Applicant: 复旦大学

Inventor： 张文强 ,  张安达 ,  王昊奋 ,  陶玮 ,  李紫延 ,  王建峰

IPC: G06V10/77 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06F16/58 ,  G06N3/0464 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明公开了用于医学视觉‑语言多模态任务的文本嵌入表示方法，包括：步骤1，获取带有类别标签的医学图像数据集，进行预处理，同时划分为测试集和训练集；步骤2，预训练一个基于Transformer块的上下文信息特征的神经网络模型并进行优化训练；步骤3，获取带有医学图像‑文本对的数据集，并进行标准化处理，进行多分类预测，得到图像‑标签‑文本的三元组对；步骤4，对三元组对执行预定操作，得到图像标签的文本特征表示和图像文本对中文本的特征表示；步骤5，将图像标签的文本特征表示融入到图像文本对中文本的特征表示中，得到联合嵌入特征表示；步骤6，使用t‑SNE算法将联合嵌入特征表示降维至二维空间中，从而在隐式嵌入空间中观察特征分布。

公开(公告)号：CN111144406B

公开(公告)日：2023-05-02

申请号：CN201911332440.6

申请日：2019-12-22

Applicant: 复旦大学

Inventor： 杨大卫 ,  张文强 ,  张传法 ,  李馨蕾 ,  陶玮

IPC: G06V10/25 ,  G06T7/20 ,  G01C21/34

Abstract: 本发明属于机器视觉图像处理技术领域，具体为一种太阳能面板清洁机器人自适应ROI目标定位方法。本发明利用目标在两帧图像中位置变化有限的特点，将上一帧的检测结果融合传感器运动信息补偿目标位置变化，估计出目标在当前图像中可能出现的感兴趣区域，缩小了检测范围，避免了全图扫描目标的大计算量和无用背景区域引入的干扰，专注于有效区域，能够实时高效精准地检测目标。本发明解决了清洁机器人在太阳能面板上由于检测范围广、背景复杂、运动变化导致的运算量大、实时性差、干扰多、容易丢失目标等问题，极大地提升了其检测效率和稳定性，使得清洁机器人快速、高效、精准地完成太阳能面板全自动清洁工作。

公开(公告)号：CN111144406A

公开(公告)日：2020-05-12

申请号：CN201911332440.6

申请日：2019-12-22

Applicant: 复旦大学

Inventor： 杨大卫 ,  张文强 ,  张传法 ,  李馨蕾 ,  陶玮

IPC: G06K9/32 ,  G06T7/20 ,  G01C21/34

Abstract: 本发明属于机器视觉图像处理技术领域，具体为一种太阳能面板清洁机器人自适应ROI目标定位方法。本发明利用目标在两帧图像中位置变化有限的特点，将上一帧的检测结果融合传感器运动信息补偿目标位置变化，估计出目标在当前图像中可能出现的感兴趣区域，缩小了检测范围，避免了全图扫描目标的大计算量和无用背景区域引入的干扰，专注于有效区域，能够实时高效精准地检测目标。本发明解决了清洁机器人在太阳能面板上由于检测范围广、背景复杂、运动变化导致的运算量大、实时性差、干扰多、容易丢失目标等问题，极大地提升了其检测效率和稳定性，使得清洁机器人快速、高效、精准地完成太阳能面板全自动清洁工作。