公开(公告)号：CN119851332A

公开(公告)日：2025-04-18

申请号：CN202411900748.7

申请日：2024-12-23

Applicant: 衢州市人民医院(衢州中心医院)

Inventor： 姜利刚 ,  童毓华 ,  陆炜 ,  张美珍 ,  童婧婧 ,  江欣 ,  章歆悦

IPC: G06V40/18 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0499 ,  G06N3/08 ,  G06T7/00

Abstract: 本发明涉及医学影像处理领域，公开了一种基于深度学习的VF值多模态预测方法及系统，所述方法包括数据准备；构建基于Vision Transformer模型的基础眼科模型；用第一数据集对基础眼科模型进行第一阶段预训练，得到第一预训练眼科模型；用第二数据集对第一预训练眼科模型进行第二阶段预训练，得到第二预训练眼科模型，作为图像编码器；构建统一多模态框架，包括图像编码器、文本编码器、多模态统一融合模块和预测模块，多模态统一融合模块将图像编码器输出的图像令牌和文本编码器输出的文本令牌融合，得到融合令牌；采用融合令牌对预测模块训练，得到训练完成的统一多模态框架；将待预测数据导入该框架，输出预测VF值。本发明能够显著提高视野值预测效率和准确性。