-
公开(公告)号:CN118430816A
公开(公告)日:2024-08-02
申请号:CN202410881068.9
申请日:2024-07-03
Applicant: 山东大学
Abstract: 本发明提供了一种基于多模态融合与大语言模型的数字结构化访谈处理方法,属于数据处理技术领域。在预设的提问范式下,获取被访谈对象的多模态数据;对多模态数据中的每种模态数据分别进行特征提取,将提取到的特征转换为低秩特征矩阵,进而得到融合特征矩阵;对被访谈对象的回答音频进行文本转化并对转化后的文本进行预处理;将得到的融合特征矩阵与预处理后的文本描述进行空间嵌入,并生成提示词;根据提示词以及经访谈语料微调的大语言模型,生成新的提问范式,根据新的提问范式向被访谈对象提问并生成新的提示词,循环往复,直至访谈结束;本发明提高了访谈真实性。
-
公开(公告)号:CN118411333A
公开(公告)日:2024-07-30
申请号:CN202410409446.3
申请日:2024-04-07
Applicant: 山东海量信息技术研究院 , 山东大学
Abstract: 本发明提供了一种基于深度学习网络的胸腔淋巴结的诊断系统,包括:预处理单元,被配置为:对胸腔淋巴结的图像帧进行预处理;特征提取单元,被配置为:对预处理后的图像帧采用依次级联的提取块进行多层次特征提取,得到不同层次的特征图;图像分割单元,被配置为:对不同层次的特征图分别进行分割,得到各个层次下的分割结果;分类诊断单元,被配置为:将各个层次下的分割结果叠加求和后得到最终胸腔淋巴结的分割图像,根据所述分割图像得到胸腔淋巴结分类诊断结果;本发明结合连续的多层次特征提取和不同层次特征图像的分割,实现了更精准的胸腔淋巴结良性或者恶性的诊断,在较高准确率和鲁棒性的前提下,能够快速和精准的提供患者的诊断结果。
-
公开(公告)号:CN118397684A
公开(公告)日:2024-07-26
申请号:CN202410651082.X
申请日:2024-05-24
Applicant: 山东大学
IPC: G06V40/16 , G06V20/40 , G06V10/774 , G06V10/764 , G06V10/82 , G16H20/70
Abstract: 本发明涉及心理健康评估技术领域,本发明公开了基于多实例学习的心理健康评估方法、系统、介质及设备,包括:获取受试者的面部视频;对面部视频进行预处理,得到若干脸部图像;将一个面部视频作为一个包,将面部视频对应的一个脸部图像作为包中的一个实例,对包中的所有实例进行特征嵌入,得到包的聚合序列,并采用多头注意力机制对聚合序列进行处理后,通过具有零填充的多个不同尺寸的卷积进行特征提取,并将所有卷积的输出进行拼接后,通过全连接层和多层感知机,得到受试者的心理健康评分。提高了心理健康评估的准确性。
-
公开(公告)号:CN118397283A
公开(公告)日:2024-07-26
申请号:CN202410864665.0
申请日:2024-07-01
Applicant: 山东大学
IPC: G06V10/26 , G06V20/70 , G06V10/44 , G06V10/80 , G06V10/82 , G06V10/762 , G06V10/764 , G06N3/0464 , G06N3/0455 , G06N3/088
Abstract: 本发明公开一种胃萎缩区域分割系统、电子设备及可读存储介质,涉及图像处理技术领域,包括:数据获取模块,被配置为获取胃萎缩图像、胃非萎缩图像和胃萎缩区域的像素级标注图像;伪标签生成模块,被配置为根据胃萎缩图像和胃非萎缩图像对图像分类模型进行多次训练,以生成像素级伪标签图像;可信伪标签筛选模块,被配置为根据像素级伪标签图像筛选可信的像素级伪标签图像;图像分割模块,被配置为根据可信的像素级伪标签和像素级标注图像训练图像分割模型,根据待测胃镜数字图像,采用训练后的图像分割模型,得到胃萎缩区域分割预测结果。降低胃镜图像的标注成本,提升胃萎缩区域分割预测的准确性。
-
公开(公告)号:CN114092744B
公开(公告)日:2024-05-17
申请号:CN202111424971.5
申请日:2021-11-26
Applicant: 山东大学
IPC: G06V10/764 , G06V10/26 , A61B8/00
Abstract: 本发明属于图像分类检测领域,提供了一种颈动脉超声图像斑块分类检测方法及系统。其中,该方法包括获取颈动脉横切面视频信息和颈动脉纵切面视频信息;分别对颈动脉横切面视频信息和颈动脉纵切面视频信息进行关键连续帧提取,对所提取的关键连续帧均进行特征增强;对特征增强后的颈动脉横切面图像和颈动脉纵切面图像先进行身份预测,再追踪各个身份对应的图像并进行像素级分割,以实现身份信息与分割结果在时间域上的关联;根据分割结果,遍历掩膜像素的每一列并通过色差标记确定坐标,确定出所述分割结果关联的身份信息对应的斑块大小和面积以及狭窄率;根据斑块大小和面积及狭窄率确定斑块类型,以输出不同程度的预警提示。
-
公开(公告)号:CN117133443B
公开(公告)日:2024-03-12
申请号:CN202311097876.8
申请日:2023-08-29
Applicant: 山东大学
IPC: G16H50/20 , G06T7/215 , G06V20/40 , G06V10/762 , G06T7/13 , G06V10/764 , G06V10/74 , G06T7/00
Abstract: 本发明属于下肢静脉超声智能辅助诊断技术领域,提供了一种基于视频动态算子的下肢静脉血栓超声辅助诊断系统,对获取的下肢超声视频进行分割处理,利用分割后的超声视频,基于视频动态算子模型进行下肢静脉血栓超声诊断;具体的,首先,提取出分割后超声视频中每一帧的运动方向,作为一种运动算子特征;然后,提取超声视频中当前帧与前一帧之间的差异,计算相似性指数,作为另一种运动算子特征;最后,利用学习聚类算法,学习有血栓和无血栓之间的差异,得到有无血栓的诊断结果;基于视频动态算子可以对有症状的患者并没有发现患有深静脉血栓的患者进行早期筛查,提高了诊断效率,降低了患者等待转诊的时间,减轻了医生的工作量。
-
公开(公告)号:CN117291809A
公开(公告)日:2023-12-26
申请号:CN202311585722.3
申请日:2023-11-27
Applicant: 山东大学
Abstract: 本发明涉及集成电路图像拼接技术领域,特别是涉及一种基于深度学习的集成电路图像拼接方法及系统,包括对待拼接的两张图像进行光照均衡化操作;对光照均衡化后的图像进行图像特征增强;利用深度学习模型对图像提取掩模图像;对生成的掩膜图像进行调整,将调整得到的全景图像的掩模图像与原待拼接图像进行融合,进而得到两张待拼接图像的拼接后的全景图像,将得到的全景图像与全景图像的掩膜图像进行融合,再进行矩形化处理,得到规则的拼接图像。本发明能够实现微观图像的特征精准提取,实现像素级的对齐拼接成一幅完整的图像,进而能够准确地检测集成电路的缺陷位置。
-
公开(公告)号:CN117133443A
公开(公告)日:2023-11-28
申请号:CN202311097876.8
申请日:2023-08-29
Applicant: 山东大学
IPC: G16H50/20 , G06T7/215 , G06V20/40 , G06V10/762 , G06T7/13 , G06V10/764 , G06V10/74 , G06T7/00
Abstract: 本发明属于下肢静脉超声智能辅助诊断技术领域,提供了一种基于视频动态算子的下肢静脉血栓超声辅助诊断系统,对获取的下肢超声视频进行分割处理,利用分割后的超声视频,基于视频动态算子模型进行下肢静脉血栓超声诊断;具体的,首先,提取出分割后超声视频中每一帧的运动方向,作为一种运动算子特征;然后,提取超声视频中当前帧与前一帧之间的差异,计算相似性指数,作为另一种运动算子特征;最后,利用学习聚类算法,学习有血栓和无血栓之间的差异,得到有无血栓的诊断结果;基于视频动态算子可以对有症状的患者并没有发现患有深静脉血栓的患者进行早期筛查,提高了诊断效率,降低了患者等待转诊的时间,减轻了医生的工作量。
-
公开(公告)号:CN116778020B
公开(公告)日:2023-11-14
申请号:CN202311033697.8
申请日:2023-08-17
Applicant: 山东大学
IPC: G06T11/00 , G06N3/0464 , G06N3/08
Abstract: 本发明属于医学超声成像技术领域,提供了一种基于深度学习的柔性超声聚束成像方法及系统。该方法包括,获取柔性超声相控阵采集的人体器官超声图像,采用训练好的Encoder‑Decoder深度网络模型,得到超声图像;所述Encoder‑Decoder深度网络模型训练的过程包括:采用超声相控阵大数据队列仿真,得到原始超声聚束回波信号和相应的超声图像,构建柔性超声相控阵仿真大数据队列,以训练Encoder‑Decoder深度网络模型;其中,在采用超声相控阵大数据队列仿真时,针对同一虚拟超声扫描对象,获取从平面超声相控阵到最大凸曲率半径超声相控阵的超声图像。本发明提高了提升柔性超声相控阵的成像质量。
-
公开(公告)号:CN116778020A
公开(公告)日:2023-09-19
申请号:CN202311033697.8
申请日:2023-08-17
Applicant: 山东大学
IPC: G06T11/00 , G06N3/0464 , G06N3/08
Abstract: 本发明属于医学超声成像技术领域,提供了一种基于深度学习的柔性超声聚束成像方法及系统。该方法包括,获取柔性超声相控阵采集的人体器官超声图像,采用训练好的Encoder‑Decoder深度网络模型,得到超声图像;所述Encoder‑Decoder深度网络模型训练的过程包括:采用超声相控阵大数据队列仿真,得到原始超声聚束回波信号和相应的超声图像,构建柔性超声相控阵仿真大数据队列,以训练Encoder‑Decoder深度网络模型;其中,在采用超声相控阵大数据队列仿真时,针对同一虚拟超声扫描对象,获取从平面超声相控阵到最大凸曲率半径超声相控阵的超声图像。本发明提高了提升柔性超声相控阵的成像质量。
-
-
-
-
-
-
-
-
-