公开(公告)号：CN118411504B

公开(公告)日：2025-03-18

申请号：CN202410505959.4

申请日：2024-04-25

Applicant: 重庆邮电大学

Inventor： 杨浦 ,  乔丽红 ,  石宇航 ,  舒禹程 ,  肖斌 ,  李伟生

IPC: G06V10/24 ,  G06V10/774 ,  G16H50/20 ,  G16H30/00

Abstract: 本发明属于医学数据处理领域，具体涉及一种医学图像文本对齐模型的训练方法、装置及设备；所述方法包括获取医学图像、增强视图、医学文本和增强文本；采用图像编码器提取图像特征，采用文本编码器提取文本特征；利用多视图监督图像文本对齐获得更为详尽的医学图像和医学文本表征；利用多尺度自注意力与交叉注意力集成对齐策略能在无需外部信息的情况下，通过内部特征的关联性来理解每个模态的上下文信息，还能够学习到跨模态的信息。利用高置信度聚类信息引导正负样本构建算法能够深入挖掘高阶语义信息，使得预训练完成后的模型能够用于医学图像和其成对的医学报告之间精准的配对能力，以及对图像中病灶区域的精准定位能力，辅助医疗病情诊断。

公开(公告)号：CN117351568B

公开(公告)日：2024-08-20

申请号：CN202311389213.3

申请日：2023-10-24

Applicant: 重庆邮电大学

Inventor： 石宇航 ,  乔丽红 ,  舒禹程 ,  肖斌

IPC: G06V40/20 ,  G06V40/10 ,  G06V10/44 ,  G06V10/80 ,  G06V10/52 ,  G06V10/774 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/096 ,  G06N3/091

Abstract: 本发明属于图像识别技术领域，具体涉及一种基于对偶分支联合矫正的手势识别方法；包括：采用卷积层对手势图像数据进行下采样，得到中间特征；将中间特征输入到学习网络中进行处理，得到第一手势识别预测结果；计算交叉熵损失；将数据扩充后的手势图像输入到引导网络中进行处理，得到第二手势识别预测结果；引导网络通过指数平滑平均调整参数；根据第一、第二手势识别预测结果以及交叉熵损失计算模型总损失并调整学习网络参数，得到训练好的对偶分支联合矫正的半监督手势识别模型；获取手势雷达数据并根据手势雷达数据生成手势图像数据；将手势图像数据输入到训练好的识别模型中进行处理，得到手势识别结果；本发明手势识别准确率高。

公开(公告)号：CN118411504A

公开(公告)日：2024-07-30

申请号：CN202410505959.4

申请日：2024-04-25

Applicant: 重庆邮电大学

Inventor： 杨浦 ,  乔丽红 ,  石宇航 ,  舒禹程 ,  肖斌 ,  李伟生

IPC: G06V10/24 ,  G06V10/774 ,  G16H50/20 ,  G16H30/00

Abstract: 本发明属于医学数据处理领域，具体涉及一种医学图像文本对齐模型的训练方法、装置及设备；所述方法包括获取医学图像、增强视图、医学文本和增强文本；采用图像编码器提取图像特征，采用文本编码器提取文本特征；利用多视图监督图像文本对齐获得更为详尽的医学图像和医学文本表征；利用多尺度自注意力与交叉注意力集成对齐策略能在无需外部信息的情况下，通过内部特征的关联性来理解每个模态的上下文信息，还能够学习到跨模态的信息。利用高置信度聚类信息引导正负样本构建算法能够深入挖掘高阶语义信息，使得预训练完成后的模型能够用于医学图像和其成对的医学报告之间精准的配对能力，以及对图像中病灶区域的精准定位能力，辅助医疗病情诊断。

公开(公告)号：CN117351568A

公开(公告)日：2024-01-05

申请号：CN202311389213.3

申请日：2023-10-24

Applicant: 重庆邮电大学

Inventor： 石宇航 ,  乔丽红 ,  舒禹程 ,  肖斌

IPC: G06V40/20 ,  G06V40/10 ,  G06V10/44 ,  G06V10/80 ,  G06V10/52 ,  G06V10/774 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/096 ,  G06N3/091

Abstract: 本发明属于图像识别技术领域，具体涉及一种基于对偶分支联合矫正的手势识别方法；包括：采用卷积层对手势图像数据进行下采样，得到中间特征；将中间特征输入到学习网络中进行处理，得到第一手势识别预测结果；计算交叉熵损失；将数据扩充后的手势图像输入到引导网络中进行处理，得到第二手势识别预测结果；引导网络通过指数平滑平均调整参数；根据第一、第二手势识别预测结果以及交叉熵损失计算模型总损失并调整学习网络参数，得到训练好的对偶分支联合矫正的半监督手势识别模型；获取手势雷达数据并根据手势雷达数据生成手势图像数据；将手势图像数据输入到训练好的识别模型中进行处理，得到手势识别结果；本发明手势识别准确率高。

公开(公告)号：CN115830036A

公开(公告)日：2023-03-21

申请号：CN202211621673.X

申请日：2022-12-16

Applicant: 重庆邮电大学

Inventor： 刘庭杰 ,  乔丽红 ,  石宇航

IPC: G06T7/10 ,  G06V10/40 ,  G06V10/774

Abstract: 本发明公开了一种基于强弱扰动的分级Siamese对比增强的涂鸦标注医学图像分割方法，步骤（1）使用图像级别扰动进行图像预处理：主要扰动方式包括弱图像级别扰动与强图像级别扰动；（2）使用适用于涂鸦标注等弱监督应用场景的训练方式‑Siamese network；（3）利用通信式弱图像级别扰动实现对图像级别高置信度像素的特征提取；（4）利用强图像级别扰动得到图像本质特征信息的特征空间扩张模块。本发明在使用轻量级分割网络基础上引入特征投影层和特征预测层，优化了模型训练的结构和参数，保证了分割准确率和性能指标。实验测试：该模型在dice系数上表现出精确度达到90.76的性能且将时间成本缩小为现阶段其他常用方法的1/2。