基于大语言模型的多模态感知问题生成方法、系统及介质

    公开(公告)号:CN119942300A

    公开(公告)日:2025-05-06

    申请号:CN202510009573.9

    申请日:2025-01-03

    Abstract: 本发明公开了一种基于大语言模型的多模态感知问题生成方法、系统及介质,属于计算机语义分析技术领域,方法包括提取图像特征,并在图像特征中提取与输入文本最相关的特征;将输入内容中的文本背景转化为词嵌入,并与图像特征中提取到的与输入文本最相关的特征进行交互,获得与文本内容最相关的图像表示以及与图像内容最相关的文本表示;将与文本内容最相关的图像表示以及与图像内容最相关的文本表示进行语义对齐,得到视觉和文本信息的多模态语义综合表征,并转换成大语言模型所能理解的输入表征;基于大语言模型所能理解的输入表征引导大语言模型生成问题。本发明能够更加充分的利用大语言模型使其理解更为复杂的多模态输入并生成有效的问题。

    一种教科书示意图结构化信息解析方法、系统及存储介质

    公开(公告)号:CN119513267A

    公开(公告)日:2025-02-25

    申请号:CN202411703782.5

    申请日:2024-11-26

    Abstract: 一种教科书示意图结构化信息解析方法、系统及存储介质,方法包括根据教科书示意图中不同视觉对象之间的关系,按照预定义的关系类型生成合成示意图,预定义的关系类型包括并列关系、包含关系、连接关系和同类关系。利用合成示意图以及视觉对象的位置训练预先建立的关系预测器;使用训练好的关系预测器进行教科书示意图视觉对象检测以及关系预测;根据教科书示意图视觉对象检测以及关系预测结果,计算教科书示意图视觉对象间关系得分,根据关系得分进行关系内容生成,实现教科书示意图结构化信息解析。本发明依据示意图内在的规律,实现基于合成数据的示意图结构化信息解析,在样本量小、元素间关系标注信息少的情况下,增强对复杂语义信息的理解。

    一种基于贝叶斯模型的多真值冲突消解方法

    公开(公告)号:CN111708816B

    公开(公告)日:2022-12-09

    申请号:CN202010414102.3

    申请日:2020-05-15

    Abstract: 本发明公开了一种基于贝叶斯模型的多真值冲突消解方法,通过分析书籍和电影数据并生成基本数据集Draw,将基本数据集Draw重新转换成一个事实数据集Df,然后进一步生成一个声明数据集Dc,采用基于吉布斯采样的方法进行数据源先验可信度评估;得到数据源先验可靠性,将该数据源先验值作为每个数据源的初始化值,基于数据源在不同领域显示出不同的专业知识程度,一个领域中数据丰富度较高,将丰富度度量转化为基于距离的度量,度量数据源及其提供数据的对象之间的相似性;在最后的贝叶斯推断中将数据源与对象的相似性和真值的置信度作为影响真值推断的因素考虑进去,最后输出真值数据集Dt,进行数据源先验可信度估计,能提高真值推断的效率和准确度。

    一种教育文本知识归纳方法、系统、设备及可读存储介质

    公开(公告)号:CN113221577A

    公开(公告)日:2021-08-06

    申请号:CN202110464651.6

    申请日:2021-04-28

    Abstract: 本发明公开了一种教育文本知识归纳方法、系统、设备及可读存储介质,通过从教育文本中拾取领域术语,然后爬取维基百科中对该术语的解释作为理解该术语所需的外部知识,并分别对教育文本和外部知识进行编码,生成语境向量辅助摘要生成过程,弥补了机器自动生成摘要时对背景知识的缺失,利用双注意力机制计算当前时刻解码状态关于教育文本的语境向量和外部知识库的语境向量,并将二者融合参与解码过程。使用了双拷贝机制计算复制概率,从而实现从教育文本或外部知识中复制相关内容到摘要中,提高了模型捕捉细节的能力,同时缓解了未登录词或低频词带来的问题。

    一种基于多轮注意力机制的机器阅读理解答案获取方法

    公开(公告)号:CN110083682B

    公开(公告)日:2021-05-28

    申请号:CN201910318268.2

    申请日:2019-04-19

    Abstract: 本发明公开了一种基于多轮注意力机制的机器阅读理解答案获取方法,对所述问题和问题对应的文本分别进行分词处理和向量化处理得到特征向量,选择双向长短时记忆网络对特征向量编码上下文语义信息,使用注意力机制进行问题和文本之间的建模,可以有效地捕捉问题和文本之间的信息交互;通过多轮计算文章关于问题的注意力,并融合上下文语义信息,再使用BLSTM编码上下文语义信息,反复多次得到第n文本语义向量,利用Self‑Attention机制得到问题的一个向量表示,通过计算问题语义向量和自身的相似度,即文章中的每个词在问题空间中的一种表示,可以有效地提高预测答案的准确度,将BLSTM和Attention进行有效的结合,能够提升问题与文本抽取所返回的答案相匹配的精准性。

    一种基于Unity3D知识森林虚拟现实系统实现的方法

    公开(公告)号:CN108108430B

    公开(公告)日:2020-08-28

    申请号:CN201711368748.7

    申请日:2017-12-18

    Abstract: 本发明公开了一种基于Unity3D知识森林虚拟现实系统实现的方法,包括获取数据;该数据包括多个知识领域主题,知识领域主题之间的认知关系,知识领域主题对应分面以及分面对应知识碎片;构建该知识领域主题分面树;通过层次布局算法生成每个知识领域主题的坐标数据;并且在该坐标数据上,通过数值微分法生成每条边上点的坐标数据;构建知识森林虚拟场景;定制虚拟显示控制器的交互。该方法突破了二维可视化技术在森林规模、布局和交互上存在的局限,同时给用户强烈的真实感,使用户更容易掌握。

    一种从课件文本自动抽取知识单元间学习依赖关系的方法

    公开(公告)号:CN106649259B

    公开(公告)日:2019-05-24

    申请号:CN201610874480.3

    申请日:2016-09-30

    Abstract: 本发明公开了一种从课件文本自动抽取知识单元间学习依赖关系的方法,通过处理知识单元对应课件中的文本,得到候选术语集合,然后处理候选术语集合中的同义术语,并计算每个术语对知识单元的关键程度,构建出最优化模型,通过求解得到最优化的学习依赖关系抽取模型,能够对课件文本进行自动分析,识别出文本中的术语并计算出术语对知识单元的关键程度,并通过最优化术语之间的关系得到学习依赖关系挖掘的模型,该过程不依赖于学习依赖关系的局部性,能够用来挖掘主题关联较远的知识单元之间的学习依赖关系,为学习者提供更为完整的知识导航服务。

    一种基于ElasticSearch对MOOC课程进行分面检索的方法

    公开(公告)号:CN106776878A

    公开(公告)日:2017-05-31

    申请号:CN201611074980.5

    申请日:2016-11-29

    Abstract: 本发明公开了一种基于ElasticSearch对MOOC课程进行分面检索的方法,所采用的技术方案为:首先获取MOOC课程元数据,解析后存储;然后创建一个索引,将MOOC课程元数据在ElasticSearch集群中建立索引;其次将若干个字段的数据加入到待检索字段中,实现多字段检索,对不同字段通过设置不同的权重;再次设置若干个分面,从不同分面对MOOC课程进行筛选和过滤,允许用户创建自己的检索路径,实现分面检索,设置排序,在MOOC课程检索结果的基础上按照一个特定分面进行排序,使具有预期属性的MOOC课程尽可能靠前,完成检索结果排序;最后设置检索服务接口,提供MOOC课程检索服务,用户提供检索关键词和检索分面信息后,检索服务接口向用户返回MOOC课程信息列表以及课程分面聚合结果。

Patent Agency Ranking