一种视觉Transformer模型设计方法、装置、存储介质和程序产品

    公开(公告)号:CN118840414A

    公开(公告)日:2024-10-25

    申请号:CN202411038198.2

    申请日:2024-07-30

    Abstract: 本发明提供一种视觉Transformer模型设计方法、装置、存储介质和程序产品,其中,方法包括:设定最小形变图像的大小和最小区域块的大小;根据原图的宽高,得到原图的长边与短边之比取整的值,确定形变目标图像的一边长和待划分区域块的一边长;根据原图的长边与短边之比取整的值,计算出形变目标图像的宽高和待划分区域块的宽高;根据形变目标图像的宽高和待划分区域块的宽高,对图像进行形变和划分,得到若干区域块,送入Transformer结构中。将每个区域块划分成若干方块,对所述若干方块进行编码,得到每个区域块特征;整合所有的区域块特征,送入Transformer结构中进行训练。本发明可以在较少形变情况下提取更符合原始图像的特征信息。

    一种基于多类文本表征的知识分类树融合方法及计算机可读存储介质

    公开(公告)号:CN118708721A

    公开(公告)日:2024-09-27

    申请号:CN202410116679.4

    申请日:2024-07-05

    Abstract: 本发明提供一种基于多类文本表征的知识分类树融合方法及计算机可读存储介质,包括:获取知识体系进行知识表示,获得知识分类树;基于所述知识分类树进行文本向量化表征,获得知识向量;基于所述知识向量,进行知识融合;基于所述知识融合,进行知识存储;基于所述知识存储,进行知识可视化。跨知识体系的融合的方法大多是基于规则,对于复杂的知识结点表示效果不佳。知识分类树只能表示上下位关系,无法提供丰富的语义信息。针对上述问题,本发明提出了一种基于多类文本表征的知识分类树融合方法及计算机可读存储介质,使得整个知识分类树融合流程完备,自动化程度高,可信性强,还兼具了知识体系树可视化的功能,能够更清晰地浏览整个知识体系。

    一种用于增强检索效果的法律文本多标签生成方法及装置

    公开(公告)号:CN117909519A

    公开(公告)日:2024-04-19

    申请号:CN202410092818.4

    申请日:2024-01-23

    Abstract: 本发明提供一种用于增强检索效果的法律文本多标签生成方法及装置,其中方法包括:获取法律文本和法律问题,构建用于训练的数据集;对所述数据集进行预处理,得到法律文本标签和法律问题数据;基于所述法律文本标签和法律问题数据,训练得到多标签分类模型;基于所述多标签分类模型,构建知识库检索模型;将所述知识库检索模型整合到RAG框架中,得到RAG框架下的法律文本多标签生成模型;对所述法律文本多标签生成模型进行评估和优化。本发明减少了因法典数量庞大带来的检索噪音,优化了法律信息检索的各个环节,显著提升了法律信息检索系统检索的精确度和效率,减少了计算资源的消耗。

    模型训练方法、可控文本的生成方法、系统、设备及介质

    公开(公告)号:CN116383652B

    公开(公告)日:2024-02-06

    申请号:CN202310354856.8

    申请日:2023-04-03

    Inventor: 蔡华

    Abstract: 本发明公开了一种模型训练方法、可控文本的生成方法、系统、设备及介质,该模型训练方法包括:以第一训练样本为输入,训练可控文本生成模型,以确定可控文本生成模型中提示子模型和注意力子模型的参数;可控文本生成模型还包括预先训练的文本生成子模型;在每个时间步中,注意力子模型以之前所有时间步的提示词隐含状态、当前时间步的提示词隐含状态和之前所有时间步的文本隐含状态为输入,以当前时间步的注意力文本矩阵为输出。本发明使用提示子模型引导文本生成子模型,防止可控文本的主题发散,出现与提示词不相关的内容;注意力子模型实现了在每个时间步进行独立提示,防止可控文本的内容不与所有的提示词的内容对应,避免出现提示词的丢失。

    手势生成方法及装置、计算机可读存储介质、终端

    公开(公告)号:CN117456598A

    公开(公告)日:2024-01-26

    申请号:CN202311169519.8

    申请日:2023-09-11

    Abstract: 一种手势生成方法及装置、计算机可读存储介质、终端,方法包括:确定时序对齐的音频语义特征序列、音频韵律特征序列、手势词特征序列;基于各个特征序列以及预训练模型执行多轮迭代,以确定生成手势特征序列;在每轮迭代中,至少基于第i个手势词特征以及第i个音频语义特征进行特征融合,得到第一融合特征,并基于所述第一融合特征确定目标手势词特征;至少基于第i个手势词特征以及第i个音频韵律特征进行特征融合,得到第二融合特征;至少基于目标手势词特征以及第二融合特征进行拼接处理,得到拼接结果;将所述拼接结果输入所述预训练模型,得到第i轮输出的生成手势特征。上述方案有助于生成能准确表达语义且体现个性差异的手势。

    预训练模型调整方法及装置、存储介质、计算设备

    公开(公告)号:CN116881641A

    公开(公告)日:2023-10-13

    申请号:CN202310855991.0

    申请日:2023-07-12

    Abstract: 本申请提供了一种预训练模型调整方法及装置、存储介质、计算设备,该预训练模型调整方法包括:获取初始样本,初始样本包括多个问答对,并计算每一问答对对应的句子嵌入,每一问答对包括问题和答案;利用各个问答对对应的句子嵌入对各个问答对进行聚类,以得到多个簇,每个簇包括多个点,每一点对应一个句子嵌入;在每个簇中按照与同一簇中其他点的最大距离选取多个点,以得到核心样本;利用核心样本对预训练模型进行训练调整。本申请能够在保证模型训练的效果的基础上,避免预训练模型对原有知识的遗忘,提升预训练模型的性能。

    基于动态权重的文本生成方法、设备及存储介质

    公开(公告)号:CN113360646B

    公开(公告)日:2023-09-19

    申请号:CN202110614527.3

    申请日:2021-06-02

    Inventor: 蔡华

    Abstract: 本发明公开了一种基于动态权重的文本生成方法、设备及存储介质,所述文本生成方法包括:构建热词词库,热词词库中存储有每隔第一预设时间段获取的热搜词及每个热搜词的热搜权重,每个热搜词的热搜权重根据每个热搜词的频率参数和每个热搜词的构建时间生成;接收输入的任一文本;从任一文本中提取多个主题词;匹配主题词与热词词库,得到每个主题词的热搜权重;根据包含热搜权重的主题词生成更新后的文本。本申请实现动态加权的新闻事件多主题自动生成方法,根据增量自动搜索构建的热词,结合词的频次信息和热搜时间信息动态地赋予热词相应权重,用以处理更新快的实时性网络新闻数据。

    非公理推理系统中命题逻辑语句的生成方法、系统和设备

    公开(公告)号:CN120031133A

    公开(公告)日:2025-05-23

    申请号:CN202510140764.9

    申请日:2025-02-08

    Inventor: 沈伟林 蔡华 徐清

    Abstract: 本公开提供了一种非公理推理系统中命题逻辑语句的生成方法、系统和设备,该生成方法包括:获取初始文本;基于非公理推理系统中命题逻辑语句的输入要求,得到预设大语言模型的目标提示词;基于所述目标提示词,将所述初始文本输入至所述预设大语言模型,以输出目标命题逻辑语句。本公开通过命题逻辑语句的输入要求得到目标提示词,进而根据目标提示词将初始文本输入至预设大语言模型,以输出目标命题逻辑语句,实现了初始文本到命题逻辑语句的自动化转换,显著降低了用户的使用门槛,大大提高了转换效率,提高了非公理推理系统的推理结果的质量和可靠性,具有良好的扩展性、可维护性和适应性,提升了智能化程度、便捷性、实际应用价值和范围。

Patent Agency Ranking