-
公开(公告)号：CN117992615A
公开(公告)日：2024-05-07
申请号：CN202410396721.2
申请日：2024-04-03
Applicant: 中国科学技术大学
IPC: G06F16/35 , G06N3/0455
Abstract: 本发明涉及文本情绪识别技术领域，公开了一种基于组合范畴语法与大模型记忆插件的情绪识别方法，通过情绪识别模型识别出给定的文本的情绪标签，包括：利用嵌入编码器提取文本的文本特征；利用知识提取模块提取文本的组合范畴语法知识向量；基于知识向量和编码后的文本特征，通过记忆机制控制插件与大模型进行交互，驱动大模型融合插件携带的知识，将插件与大模型进行参数级融合，得到增强后的文本表征；将增强后的文本表征输入到分类器进行标签预测，生成情绪标签。本发明通过充分利用组合范畴语法信息知识，从而更全面地把握文本的结构和含义，让模型更全面地理解情绪表达，有助于提高情绪分析的准确性。
-
公开(公告)号：CN117633239A
公开(公告)日：2024-03-01
申请号：CN202410090128.5
申请日：2024-01-23
Applicant: 中国科学技术大学
IPC: G06F16/35 , G06F18/2415 , G06N3/0442 , G06N3/084
Abstract: 本发明涉及情感识别技术领域，公开了一种结合组合范畴语法的端到端方面情感识别方法，通过完成训练的情感识别模型识别出给定的文本的情感标签；情感识别模型的训练过程包括：通过编码器提取文本的文本特征；通过词汇范畴标签解码模块对文本特征进行处理，预测得到词汇范畴标签；应用注意力模块对文本特征进行处理得到加权和向量，进而得到平衡后的文本隐藏向量；将平衡后的文本隐藏向量输入到标签预测模块，生成情感标签；基于总体损失和反向传播算法更新情感识别模型的参数。本发明利用组合范畴语法包含的句法和语义信息，明确区分并相应地利用重要的上下文信息；通过门控模块，情感识别模型可以提高对语义信息的处理能力。
-
公开(公告)号：CN117610562A
公开(公告)日：2024-02-27
申请号：CN202410090092.0
申请日：2024-01-23
Applicant: 中国科学技术大学
IPC: G06F40/289 , G06F40/211 , G06F18/2415
Abstract: 本发明涉及关系抽取技术领域，公开了一种结合组合范畴语法和多任务学习的关系抽取方法，在给定文本以及两个实体的条件下，识别出关系标签；包括：利用编码器提取文本的文本特征：对文本特征进行词汇范畴标签解码，预测得到词汇范畴标签；对实体和处理后的文本特征应用注意力机制，得到强化实体表示；将强化实体表示输入到分类器，得到关系标签。本发明利用组合范畴语法为文本理解提供句法和语义知识，提升了对实体之间的关系检测能力；通过多任务学习的机制，从词汇范畴标签的解码过程中学习组合范畴语法信息，从而指导注意力机制区分关系抽取中的重要词汇，强化对文本和实体的表示学习，进一步提升了关系抽取的质量。
-
公开(公告)号：CN117557883A
公开(公告)日：2024-02-13
申请号：CN202410048581.X
申请日：2024-01-12
Applicant: 中国科学技术大学
IPC: G06V10/80 , G06V10/82 , G06V10/764 , G06N3/0442 , G06N3/08 , G16H15/00
Abstract: 本发明公开了基于病理对齐扩散网络的医疗多模态内容分析及生成方法，将给定图像输入到融合检测模型中，以生成与给定图像相匹配的文本报告；所述融合检测模型的训练过程如下：S1：构建训练集，并将训练集中的图像输送到融合检测模型；S2：提取图像的图像特征；S3：将图像特征与不同粒度的病理信息进行对齐，获得对齐特征；S4：将对齐特征进行特征增强得到增强特征，将对齐特征和增强特征相加后进行归一化操作得到归一化特征，基于归一化特征指导文本生成，得到文本报告；该医疗多模态内容分析及生成方法，解决现有基于自回归式的方法容易出现的错误传播问题，提高生成报告的质量。
-
公开(公告)号：CN117174240B
公开(公告)日：2024-02-09
申请号：CN202311401131.6
申请日：2023-10-26
Applicant: 中国科学技术大学
Abstract: 本发明涉及影像报告生成技术领域，公开了一种基于大模型领域迁移的医疗影像报告生成方法；生成模型的训练过程包括：使用视觉编码模块，将放射性图像编码为视觉向量；将视觉向量以及生成提示，输入大模型领域实例迁移模块，得到中间报告以及实例迁移损失；将视觉向量、精细化提示和中间报告，输入大模型精细解码模块，得到最终的影像报告以及交叉熵损失；计算总损失，并使用反向传播算法更新大模型领域实例迁移模块以及大模型精细解码模块的参数。本发明通过域内实例排序的过程，能够实现在少量数据样本前提下，快速地实现将大语言模型向专有领域内特定任务信息的对齐；能够进一步提升大语言模型在医疗影像报告生成任务上(56)对比文件梅周俊森;孙水发;李小龙.基于深度学习的医学影像报告自动生成研究综述《.长江信息通信》.2023,全文.刘畅;计海霞;田仰华;候唯姝;音大为.三维动脉自旋标记在足月新生儿缺氧缺血性脑病的早期诊断和预后分组中的价值《.磁共振成像》.2023,全文.余文林;陈振洲;范冰冰;黄穗.基于深度迁移学习的大鼠肝纤维化诊断.计算机系统应用.2019,(第05期),全文.LIU J;YUAN R;ZHANG Y.TX-CNN_Detecting_tuberculosis_in_chest_X-ray_images_using_convolutional_neural_network《.IEEE International Conference onImage Processing ICIP》.2017,全文.
-
Patent Agency Ranking
公开(公告)号：CN117077085A
公开(公告)日：2023-11-17
申请号：CN202311339502.2
申请日：2023-10-17
Applicant: 中国科学技术大学
IPC: G06F18/25 , G06V10/40 , G06V10/774 , G06V10/80 , G06F18/15 , G06F18/213 , G06F18/214
Abstract: 本发明涉及社交媒体内容识别技术领域，公开了一种大模型结合双路记忆的多模态有害社交媒体内容识别方法，包括以下步骤：利用图像编码器提取图像的图像特征；利用文本嵌入模块，提取文本的文本特征；应用双通道记忆模块对图像特征以及文本特征建模，得到图像向量以及文本向量；利用大模型进行标签预测：图像向量以及文本向量输入到大模型中，生成标签。本发明通过双通道记忆模块，可以根据视觉特征为不同的记忆向量计算权重，这种权重分配使得模型能够更加准确地对信息进行对齐和融合。此外，视觉通道与文本通道采用相同的程序处理，确保了两种信息来源被平等且有效地考虑。
-
公开(公告)号：CN116189064B
公开(公告)日：2023-08-29
申请号：CN202310458854.3
申请日：2023-04-26
Applicant: 中国科学技术大学
IPC: G06V20/40 , G06V10/774 , G06F17/16 , G06N20/00
Abstract: 本发明公开了一种基于联合模型的弹幕情感分析方法及系统，将弹幕评论输入到已训练完成的联合模型中以输出所述弹幕评论对应的情感倾向，所述联合模型包括编码模块和解码模块，所述编码模块包含视频编码模块、文本编码模块、门控融合模块以及多模态融合模块，解码模块包括弹幕重构模块和情感分析模块，解码模块以编码模块的输出作为输入从而输出弹幕评论对应的情感分析倾向；该弹幕情感分析方法及系统利用门控融合筛选机制将周围弹幕评论作为目标弹幕评论的上下文信息，并利用多模态融合方式将视频信息考虑进来，充分利用有用的信息强化视频弹幕的特征表示，以准确识别目标弹幕评论的感情倾向。
-
公开(公告)号：CN116384340A
公开(公告)日：2023-07-04
申请号：CN202310574093.8
申请日：2023-05-22
Applicant: 中国科学技术大学
IPC: G06F40/126 , G06F40/35 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/084 , H04N21/44 , H04N21/466 , H04N21/488
Abstract: 本发明涉及视频弹幕情感分析技术领域，公开了一种基于变分跨模态表征的实时弹幕情感分析方法，包括视频编码、自动门控、文本编码、特征融合、弹幕重构和弹幕情感分析，最终预测得到弹幕情感。本方法利用自动门控模块将周围弹幕作为目标弹幕的上下文信息，并利用文本编码模块对目标弹幕进行特征提取，在编码模块和解码模块之间的特征融合模块会把视频信息融入进来，解码模块中的弹幕重构模块可以学习到不同模态之间的关系，促进情感分析模块预测出弹幕情感。
-
公开(公告)号：CN116204674A
公开(公告)日：2023-06-02
申请号：CN202310475627.1
申请日：2023-04-28
Applicant: 中国科学技术大学
IPC: G06F16/583 , G06F16/58 , G06F40/30 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本发明涉及计算机视觉和自然语言处理领域。本发明提出了一种基于视觉概念词关联结构化建模的图像描述方法，通过图像描述模型对输入的图像，生成所述图像的描述语句。图像描述模型的训练过程包括：将训练数据输入视觉特征提取和编码模块，得到视觉特征；将视觉特征输入视觉概念预测模块，得到对应的视觉概念词，将视觉概念词输入视觉概念关联结构化建模模块，得到结构化视觉语义概念词特征；将视觉特征和结构化视觉语义概念词特征输入描述生成模块，得到描述语句。基于总体损失函数训练模型。本发明提供的方法对单词在文本模态中的语言学先验的提取做了有效的约束。
-
公开(公告)号：CN116189064A
公开(公告)日：2023-05-30
申请号：CN202310458854.3
申请日：2023-04-26
Applicant: 中国科学技术大学
IPC: G06V20/40 , G06V10/774 , G06F17/16 , G06N20/00
Abstract: 本发明公开了一种基于联合模型的弹幕情感分析方法及系统，将弹幕评论输入到已训练完成的联合模型中以输出所述弹幕评论对应的情感倾向，所述联合模型包括编码模块和解码模块，所述编码模块包含视频编码模块、文本编码模块、门控融合模块以及多模态融合模块，解码模块包括弹幕重构模块和情感分析模块，解码模块以编码模块的输出作为输入从而输出弹幕评论对应的情感分析倾向；该弹幕情感分析方法及系统利用门控融合筛选机制将周围弹幕评论作为目标弹幕评论的上下文信息，并利用多模态融合方式将视频信息考虑进来，充分利用有用的信息强化视频弹幕的特征表示，以准确识别目标弹幕评论的感情倾向。
-
-
-
-
-
-
-
-
-
Search Results
89
records
(took 0.032 seconds)
