-
公开(公告)号:CN118113700A
公开(公告)日:2024-05-31
申请号:CN202311873919.7
申请日:2023-12-29
Applicant: 科大讯飞华南人工智能研究院(广州)有限公司
Abstract: 本申请公开了一种向量数据库与大语言模型协同优化方法、装置及设备,该方法包括:首先提取目标非结构化数据的数据片段;然后利用这些数据片段构建图神经网络,并利用其中各个节点的语义信息和相互依赖关系,优化大语言模型;接着利用优化后的大语言模型对各个数据片段进行编码,并利用得到的编码向量构建或更新向量数据库中数据片段的向量值;再根据库中各个数据片段的向量值之间的相似性,更新图神经网络中的各个节点的语义信息和相互依赖关系;进而利用更新后的图神经网络中各个节点的语义信息和相互依赖关系,重新执行优化大语言模型以及后续步骤,依次类推,直至满足预设停止优化条件,得到优化后的图神经网络、向量数据库和大语言模型。
-
公开(公告)号:CN115797727A
公开(公告)日:2023-03-14
申请号:CN202211678417.4
申请日:2022-12-26
Applicant: 科大讯飞华南人工智能研究院(广州)有限公司
IPC: G06V10/774 , G06V10/82 , G06V10/56 , G06V10/40 , G06V10/77
Abstract: 本发明提供一种图像增广方法、装置、电子设备和存储介质。方法包括:确定目标视角对应的图像拍摄方向信息和体素位置信息,体素位置信息包括多个体素的空间位置;基于图像拍摄方向信息和体素位置信息,对图像增广模型表征的三维容积模型进行体素采样,获得多个体素的颜色信息和透明度信息;基于各颜色信息和各透明度信息,生成目标视角对应的增广图像。本发明提供的方法、装置、电子设备和存储介质,基于多个视角的样本图像训练得到图像增广模型,以使图像增广模型表征三维容积模型,从而只需确定目标视角对应的图像拍摄方向信息和体素位置信息,即可增广得到新视角下的增广图像,使样本数据在视角上得到有效增广,实现高效的图像增广。
-
公开(公告)号:CN119941648A
公开(公告)日:2025-05-06
申请号:CN202411974152.1
申请日:2024-12-30
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
Abstract: 本发明涉及医学影像分析,具体涉及一种基于先验位置信息的医学影像分析方法,根据不同部位的重要性程度,初始化分管不同区域的可学习Queries;输入3D医学影像,根据先验位置信息在相应区域提取3D视觉特征,并在所有3D视觉特征中提取特定区域的局部特征;对各区域的可学习Queries与各区域的局部特征进行特征交互学习,得到各区域的视觉交互特征;利用分类头基于目标区域的视觉交互特征进行分类,并对分类结果进行文本化处理,得到目标区域的分类结果文本化描述;根据目标区域的视觉交互特征、分类结果文本化描述和用户指令文本得到目标区域的文本报告;本发明提供的技术方案能够有效克服难以准确生成目标区域文本报告的缺陷。
-
公开(公告)号:CN119940464A
公开(公告)日:2025-05-06
申请号:CN202411974153.6
申请日:2024-12-30
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
IPC: G06N3/0895 , G06N3/0455 , G06N3/096 , G06V10/82
Abstract: 本发明涉及模型训练,具体涉及基于跨序列局部对比的医学影像视觉编码器的训练方法,从一个序列的3D医学影像数据中随机裁剪出多个第一全局视图、第一局部视图,将第一全局视图分别输入至学生模型、教师模型中,将第一局部视图输入至学生模型中;从另一个序列的3D医学影像数据中随机裁剪出多个第二全局视图、第二局部视图,将第二全局视图和第二局部视图输入至教师模型中;根据学生模型的输出结果,筛选与第一全局视图最匹配的第一局部视图,并将该第一局部视图作为锚点局部视图;基于锚点局部视图构建用于对比学习的正负样本对;本发明提供的技术方案能够有效克服视觉编码器对高冗余3D医学影像数据中微小局部特征的表征能力较弱的缺陷。
-
公开(公告)号:CN119831938A
公开(公告)日:2025-04-15
申请号:CN202411838232.4
申请日:2024-12-13
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
Abstract: 本发明涉及医学影像智能分析,具体设计了一种由影像诊断分析模块、多期对比预警模块、多期影像空间对齐模块、多期影像关联诊断模块、多期对比分析模块、多期对比典型病案知识库和影像临床决策知识库组成的医学影像多期分析系统,其具备多期对比提醒、可解释性的多期对比报告输出、基于多期对比的初步报告更新和基于多期对比的临床决策支持等能力,具备高可解释性、可交互性、可拓展性等优点,能够实现精准的多期对比分析及建议,实现高阶智能辅诊;本发明提供的技术方案能够有效克服现有技术所存在的难以对多期影像进行可解释性、可交互性、可拓展性的多期对比分析的缺陷。
-
公开(公告)号:CN115909502A
公开(公告)日:2023-04-04
申请号:CN202211635638.3
申请日:2022-12-19
Applicant: 科大讯飞华南人工智能研究院(广州)有限公司
IPC: G06V40/20 , G06V20/40 , G06V10/74 , G06V10/10 , G06V10/774 , G06V10/776
Abstract: 本发明提供一种手语数据增广方法、装置、电子设备和存储介质。方法包括:确定多个孤立词手语数据,任一孤立词手语数据包括多帧图像;基于数据增广模型,对多个孤立词手语数据进行增广处理,得到连续句手语数据,数据增广模型的损失函数是基于动作连续性评分损失函数和/或空间差分损失函数确定的。本发明提供的方法、装置、电子设备和存储介质,只需采集孤立词手语数据即可生成大量的连续句手语数据,高效扩充连续句手语数据,且通过动作连续性评分损失函数和/或空间差分损失函数训练数据增广模型,从而提升连续句手语数据的有效性,以在基于连续句手语数据进行手语识别模型的训练时,可以提高模型训练效果,进而提高手语识别模型的鲁棒性。
-
公开(公告)号:CN119920443A
公开(公告)日:2025-05-02
申请号:CN202411979903.9
申请日:2024-12-31
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
Abstract: 本发明涉及医学影像分析,具体涉及基于多模态大模型的医学影像分析系统,多模态特征提取器,提取当前病例中医学影像的视觉特征信息,以及当前病例中病人信息的文本特征信息,融合视觉特征信息和文本特征信息得到当前病例的多模态特征;多模态RAG模块,根据当前病例的多模态特征从专科临床数据库、典型病例知识库中分别检索与当前病例相关的专科临床知识、典型病例数据,并作为检索增强信息发送给医学影像多模态大模型;医学影像多模态大模型,根据当前病例的多模态特征、检索增强信息,以及反馈与修正建议,提供医学影像分析结果及其相关服务;本发明提供的技术方案能够有效克服现有技术所存在的难以对医学影像进行准确、高效分析的缺陷。
-
公开(公告)号:CN119919762A
公开(公告)日:2025-05-02
申请号:CN202411974159.3
申请日:2024-12-30
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
IPC: G06V10/778 , G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/084
Abstract: 本发明公开了一种基于人工反馈的交互式医疗影像标注与模型优化方法,属于医疗影像分析技术领域,该基于人工反馈的交互式医疗影像标注与模型优化方法,结合人工反馈和深度学习模型的优势,通过医学专业人员人工审核校正后的疾病标签和热图定位标签作为训练监督信号,反向传播优化模型参数,从而提升模型对疾病诊断和定位的能力,相较现有技术,通过改进深层次认知和复杂模型学习策略,使模型能够更好地捕获和理解疾病区域的详细信息,从而提高了对医疗影像的分类与定位能力。
-
公开(公告)号:CN119831939A
公开(公告)日:2025-04-15
申请号:CN202411838622.1
申请日:2024-12-13
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
IPC: G06T7/00 , G06N3/0455 , G06N3/09 , G16H15/00 , G06V10/764 , G06V10/82 , G16H50/20
Abstract: 本发明涉及医学影像智能分析,具体涉及一种医学影像智能分析模型及训练方法,视觉特征编码器,对输入的医学影像进行医学影像特征提取,并将医学影像特征输入至记忆激活选择器;记忆激活选择器,根据医学影像特征提取视觉诊断特征,通过计算视觉诊断特征与疾病诊断记忆库存储的疾病诊断知识之间的相似性获取对应激活的记忆索引,对记忆索引进行去重,根据去重后的记忆索引获取对应激活的记忆特征组合,并将记忆特征组合作为指令前缀,与用户指令一同输入至大语言模型解码器;本发明提供的技术方案能够有效克服现有技术所存在的难以对医学影像进行精准分析,以及不便对医学影像智能分析模型进行便捷的拓展性学习的缺陷。
-
公开(公告)号:CN117993490A
公开(公告)日:2024-05-07
申请号:CN202311842089.1
申请日:2023-12-28
Applicant: 科大讯飞华南人工智能研究院(广州)有限公司
Abstract: 本申请公开了一种知识图谱构建方法、装置、设备及可读存储介质,获取原始非结构化数据;对原始非结构化数据进行预处理,得到预处理后的非结构化数据;基于预处理后的非结构化数据,构建得到原始知识图谱;利用监督优化后的多模态大语言模型对原始知识图谱进行优化,得到优化后的知识图谱,监督优化后的多模态大语言模型是利用预处理后的非结构化数据,以及,原始知识图谱,对多模态大语言模型进行监督优化后得到的。本方案通过优化数据的质量,能够提升原始知识图谱的准确性,并基于监督优化后的多模态大语言模型对原始知识图谱进行优化,能够进一步提高构建的知识图谱的准确性。
-
-
-
-
-
-
-
-
-