-
公开(公告)号:CN119920443A
公开(公告)日:2025-05-02
申请号:CN202411979903.9
申请日:2024-12-31
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
Abstract: 本发明涉及医学影像分析,具体涉及基于多模态大模型的医学影像分析系统,多模态特征提取器,提取当前病例中医学影像的视觉特征信息,以及当前病例中病人信息的文本特征信息,融合视觉特征信息和文本特征信息得到当前病例的多模态特征;多模态RAG模块,根据当前病例的多模态特征从专科临床数据库、典型病例知识库中分别检索与当前病例相关的专科临床知识、典型病例数据,并作为检索增强信息发送给医学影像多模态大模型;医学影像多模态大模型,根据当前病例的多模态特征、检索增强信息,以及反馈与修正建议,提供医学影像分析结果及其相关服务;本发明提供的技术方案能够有效克服现有技术所存在的难以对医学影像进行准确、高效分析的缺陷。
-
公开(公告)号:CN119831938A
公开(公告)日:2025-04-15
申请号:CN202411838232.4
申请日:2024-12-13
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
Abstract: 本发明涉及医学影像智能分析,具体设计了一种由影像诊断分析模块、多期对比预警模块、多期影像空间对齐模块、多期影像关联诊断模块、多期对比分析模块、多期对比典型病案知识库和影像临床决策知识库组成的医学影像多期分析系统,其具备多期对比提醒、可解释性的多期对比报告输出、基于多期对比的初步报告更新和基于多期对比的临床决策支持等能力,具备高可解释性、可交互性、可拓展性等优点,能够实现精准的多期对比分析及建议,实现高阶智能辅诊;本发明提供的技术方案能够有效克服现有技术所存在的难以对多期影像进行可解释性、可交互性、可拓展性的多期对比分析的缺陷。
-
公开(公告)号:CN119941648A
公开(公告)日:2025-05-06
申请号:CN202411974152.1
申请日:2024-12-30
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
Abstract: 本发明涉及医学影像分析,具体涉及一种基于先验位置信息的医学影像分析方法,根据不同部位的重要性程度,初始化分管不同区域的可学习Queries;输入3D医学影像,根据先验位置信息在相应区域提取3D视觉特征,并在所有3D视觉特征中提取特定区域的局部特征;对各区域的可学习Queries与各区域的局部特征进行特征交互学习,得到各区域的视觉交互特征;利用分类头基于目标区域的视觉交互特征进行分类,并对分类结果进行文本化处理,得到目标区域的分类结果文本化描述;根据目标区域的视觉交互特征、分类结果文本化描述和用户指令文本得到目标区域的文本报告;本发明提供的技术方案能够有效克服难以准确生成目标区域文本报告的缺陷。
-
公开(公告)号:CN119943338A
公开(公告)日:2025-05-06
申请号:CN202411974160.6
申请日:2024-12-30
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
Abstract: 本发明公开了一种基于大规模语言模型的辅助诊疗系统,属于医疗影像分析技术领域,包括基于大规模预训练语言模型的医疗影像智能体、工具组件以及储存池模块,所述医疗影像智能体将自然语言解析转化为具体的任务提示,并匹配、调用工具组件,所述工具组件包括报告生成模块、影像分割模块、病灶检测模块、报告评估模块、诊疗助手模块以及储存池模块。该基于大规模语言模型的辅助诊疗系统,通过医疗影像智能体将用户输入的自然语言解析转化为具体的任务提示,自动分解复杂的医疗影像问题,并匹配、调用工具组件,生成详细的分步解决方案,相较现有的装置,避免了由于操作较为复杂且不够直观的问题,简化操作、降低了使用门槛。
-
公开(公告)号:CN119942185A
公开(公告)日:2025-05-06
申请号:CN202411974150.2
申请日:2024-12-30
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
IPC: G06V10/764 , G06V10/80 , G06V10/77 , G06V10/82 , G06V10/44 , G06N3/0464 , G06N3/0455 , G06N5/04 , G06T7/00
Abstract: 本发明涉及医学影像分析,具体涉及一种基于细粒度特征的医学影像分析方法,模仿医生实际观看医学影像时的阅读模式,将3D医学影像划分为多层2D医学影像进行输入;对每层2D医学影像进行ViT编码,得到每层2D医学影像的ViT编码结果;对每层2D医学影像的ViT编码结果分别进行上采样、下采样,得到对应的上采样特征、下采样特征;根据每层2D医学影像的下采样特征,利用层级特征采样器提取每层2D医学影像的层级特征;根据每层2D医学影像的层级特征,利用层级特征聚合器提取每层2D医学影像的层级聚合特征;本发明提供的技术方案能够有效克服现有技术所存在的难以对3D医学影像进行准确、高效分析的缺陷。
-
公开(公告)号:CN119941649A
公开(公告)日:2025-05-06
申请号:CN202411974161.0
申请日:2024-12-30
Applicant: 安徽影联云享医疗科技有限公司 , 科大讯飞华南人工智能研究院(广州)有限公司 , 讯飞医疗科技股份有限公司 , 科大讯飞股份有限公司
IPC: G06T7/00 , G06T7/11 , G06T7/73 , G06N3/045 , G06N5/04 , G06N5/022 , G06V20/70 , G06V10/42 , G06V10/82
Abstract: 本发明公开了一种基于大模型的病灶定位方法,属于医疗影像分析技术领域,图像经过图像编码器后输入病灶检测模块与病灶分割模块,输出病灶特征,通过区域编码器对每个病灶特征进行处理并整理为大小一致的特征图,再输入给大语言模型,大语言模型整合特征图、全局特征、相似病例以及用户的prompt,输出医疗影像报告,本发明相较现有技术,避免了需要手动对比影像中的病灶位置和报告中的文字描述的问题,提高了诊断效率。
-
公开(公告)号:CN118113700A
公开(公告)日:2024-05-31
申请号:CN202311873919.7
申请日:2023-12-29
Applicant: 科大讯飞华南人工智能研究院(广州)有限公司
Abstract: 本申请公开了一种向量数据库与大语言模型协同优化方法、装置及设备,该方法包括:首先提取目标非结构化数据的数据片段;然后利用这些数据片段构建图神经网络,并利用其中各个节点的语义信息和相互依赖关系,优化大语言模型;接着利用优化后的大语言模型对各个数据片段进行编码,并利用得到的编码向量构建或更新向量数据库中数据片段的向量值;再根据库中各个数据片段的向量值之间的相似性,更新图神经网络中的各个节点的语义信息和相互依赖关系;进而利用更新后的图神经网络中各个节点的语义信息和相互依赖关系,重新执行优化大语言模型以及后续步骤,依次类推,直至满足预设停止优化条件,得到优化后的图神经网络、向量数据库和大语言模型。
-
公开(公告)号:CN117746298A
公开(公告)日:2024-03-22
申请号:CN202311804372.5
申请日:2023-12-25
Applicant: 科大讯飞华南人工智能研究院(广州)有限公司
IPC: G06V20/40 , G06V10/80 , G06V10/774 , G06V10/778
Abstract: 本发明提供一种视频异常检测方法、装置、电子设备和存储介质,涉及计算机视觉技术领域。方法包括:获取检测场景对应的提示样本集,提示样本集包括至少一个正常样本和至少一个异常样本,正常样本包括第一样本视频和其对应的第一文本描述数据,异常样本包括第二样本视频和其对应的第二文本描述数据;将各第一样本视频的视频特征、各第一文本描述数据的文本特征、各第二样本视频的视频特征,以及各第二文本描述数据的文本特征,输入至任务编码模型得到任务编码;基于任务编码,更新视频异常检测模型的模型参数;将待检测视频的视频特征输入至更新后的视频异常检测模型,得到视频异常检测结果。本发明可以快速适应各种视频异常检测场景的需求。
-
公开(公告)号:CN117993490A
公开(公告)日:2024-05-07
申请号:CN202311842089.1
申请日:2023-12-28
Applicant: 科大讯飞华南人工智能研究院(广州)有限公司
Abstract: 本申请公开了一种知识图谱构建方法、装置、设备及可读存储介质,获取原始非结构化数据;对原始非结构化数据进行预处理,得到预处理后的非结构化数据;基于预处理后的非结构化数据,构建得到原始知识图谱;利用监督优化后的多模态大语言模型对原始知识图谱进行优化,得到优化后的知识图谱,监督优化后的多模态大语言模型是利用预处理后的非结构化数据,以及,原始知识图谱,对多模态大语言模型进行监督优化后得到的。本方案通过优化数据的质量,能够提升原始知识图谱的准确性,并基于监督优化后的多模态大语言模型对原始知识图谱进行优化,能够进一步提高构建的知识图谱的准确性。
-
公开(公告)号:CN117437209A
公开(公告)日:2024-01-23
申请号:CN202311500573.6
申请日:2023-11-10
Applicant: 科大讯飞华南人工智能研究院(广州)有限公司
Abstract: 本发明提供一种目标检测方法、装置、电子设备及存储介质,该方法包括:将待检测图像和待检测图像对应的提示文本输入聚焦网络,得到聚焦网络输出的待检测图像中的至少一个候选图像块,提示文本包括与待检测目标相关的信息,聚焦网络为基于图像样本和图像样本对应的提示文本样本对初始聚焦网络训练后得到;在各候选图像块中检测待检测目标,得到目标检测结果。提示文本可以有效补充待检测图像中待检测目标的信息量,使聚焦网络在更多相关信息的指导下,能高效地聚焦出待检测目标在待检测图像中所处的区域,并输出至少一个候选图像块,因此,基于各候选图像块可以较准确地检测出待检测目标,能提高目标检测的准确度。
-
-
-
-
-
-
-
-
-