一种内核代码的循环展开方法、装置、设备及存储介质

    公开(公告)号:CN119002931A

    公开(公告)日:2024-11-22

    申请号:CN202411496155.9

    申请日:2024-10-25

    Abstract: 本发明公开了一种内核代码的循环展开方法、装置、设备及存储介质,涉及深度学习技术领域,包括:在神经网络模型推理过程中,分别捕获神经网络模型各层输出张量的大小;根据各层输出张量的大小确定各层分别对应的当前展开因子;根据各当前展开因子生成当前统一计算设备架构代码,并对当前统一计算设备架构代码进行编译,得到编译后统一计算设备架构代码;利用编译后统一计算设备架构代码对内核代码进行循环展开,并获取当前循环展开时间;根据当前循环展开时间对各当前展开因子进行调整,得到各层分别对应的目标展开因子;根据各目标展开因子对内核代码进行循环展开。本发明降低了开发难度和成本,提高了展开因子与硬件架构的兼容性。

    文本扩充方法、设备、存储介质及计算机程序产品

    公开(公告)号:CN118503715B

    公开(公告)日:2024-10-15

    申请号:CN202410962576.X

    申请日:2024-07-18

    Inventor: 王菲 吴韶华 陈曦

    Abstract: 本申请公开了一种文本扩充方法、设备、存储介质及计算机程序产品,应用于数据扩充技术领域,包括:从初始试题数据集合中选取一个试题数据,作为待扩充试题数据;向语言模型输入待扩充试题数据和第一提示词,得到第一回复并提取出N个试题数据;针对N个试题数据中的任意一个试题数据,向语言模型输入该试题数据之后,得到语言模型给出的标准答案和解析答案,并在标准答案和解析答案不一致时,舍弃该试题数据;当初始试题数据集合中的试题数据均被选取过作为待扩充试题数据时,完成对于初始试题数据集合的扩充。应用本申请的方案,提高了试题数据数量,实现了扩充,并且通过舍弃低质量的扩充内容,有利于降低后期对于数据筛选过滤的处理难度。

    一种图像处理方法、装置、设备及可读存储介质

    公开(公告)号:CN118397643B

    公开(公告)日:2024-09-24

    申请号:CN202410853502.2

    申请日:2024-06-28

    Abstract: 本发明在计算机视觉技术领域,公开了一种图像处理方法、装置、设备及可读存储介质,该方法包括:获取图像数据集;对原始图像中的结构化信息进行识别,得到结构化数据;利用结构化数据进行自然语言描述生成处理,得到描述文本;将原始图像与对应的描述文本进行关联,得到与原始图像对应的图文样本;利用若干个原始图像对应的图文样本,构建图文数据集。在本发明中,并不需要设计提示语,而是直接从原始图像提取出结构化数据,然后基于结构化数据进行描述文本生成,如此,便可不再受限于提示语设计以及相关模型的限制,可以有效提升图文数据集可靠性。技术效果:能够构建可靠的图文数据集,为基于图文数据集的后续应用打下坚实的基础。

    文本扩充方法、设备、存储介质及计算机程序产品

    公开(公告)号:CN118503715A

    公开(公告)日:2024-08-16

    申请号:CN202410962576.X

    申请日:2024-07-18

    Inventor: 王菲 吴韶华 陈曦

    Abstract: 本申请公开了一种文本扩充方法、设备、存储介质及计算机程序产品,应用于数据扩充技术领域,包括:从初始试题数据集合中选取一个试题数据,作为待扩充试题数据;向语言模型输入待扩充试题数据和第一提示词,得到第一回复并提取出N个试题数据;针对N个试题数据中的任意一个试题数据,向语言模型输入该试题数据之后,得到语言模型给出的标准答案和解析答案,并在标准答案和解析答案不一致时,舍弃该试题数据;当初始试题数据集合中的试题数据均被选取过作为待扩充试题数据时,完成对于初始试题数据集合的扩充。应用本申请的方案,提高了试题数据数量,实现了扩充,并且通过舍弃低质量的扩充内容,有利于降低后期对于数据筛选过滤的处理难度。

    一种依赖包引入方法、产品、设备及介质

    公开(公告)号:CN118467031A

    公开(公告)日:2024-08-09

    申请号:CN202410924960.0

    申请日:2024-07-11

    Abstract: 本发明公开了一种依赖包引入方法、产品、设备及介质,涉及软件开发技术领域。本方案将大量琐碎的依赖包整合为一个依赖供应商文件,相比于传统的npm工具和node_modules文件夹管理依赖包的方式,本方案能够在前端项目的依赖包引入中,极大地减小依赖包占用的本地磁盘大小;同时,在依赖供应商文件生成过程中,对其中的每个目标依赖包仅保留前端项目所需的目标功能,进一步减小了依赖供应商文件的体积,降低了本地开发环境的文件检索开销,极大地提升了本地开发环境的性能,提高了开发效率。

    一种混合专家模型路由网络优化方法、产品、装置及介质

    公开(公告)号:CN118410851A

    公开(公告)日:2024-07-30

    申请号:CN202410882266.7

    申请日:2024-07-03

    Abstract: 本发明公开一种混合专家模型路由网络优化方法、产品、装置及介质,涉及语言模型训练技术领域,针对混合专家模型在实际应用中的负载不均衡问题,提供一种混合专家模型路由网络优化方法。本方案可以保证各专家网络具有最基础的语言理解能力,并将数据集进行分解,根据数据特征动态选择激活的专家网络,从而针对性的选取部分样本数据对特定专家模型进行迭代训练,从根本上解决由于负载不均衡导致某些专家网络无法得到有效训练的问题,以增加训练过程的灵活性,提升模型整体的训练性能,可以更好地应用于下游任务。

    生成式对话模型推理方法、设备、介质及计算机程序产品

    公开(公告)号:CN118394919A

    公开(公告)日:2024-07-26

    申请号:CN202410854061.8

    申请日:2024-06-28

    Inventor: 李柏宏 吴韶华

    Abstract: 本发明公开了一种生成式对话模型推理方法、设备、介质及计算机程序产品,涉及人工智能技术领域,包括:根据生成式对话模型的模型结构确定出键矩阵和值矩阵的各个输出位置;基于输出位置对生成式对话模型进行分割,得到分割后的多个模型块,并对每一模型块输出的键矩阵和值矩形作为中间状态值进行保存;将各模型块部署至目标芯片,并在目标芯片上按照生成式对话模型的先后分割顺序依次对各模型块进行推理,直到满足预设停止条件;推理过程包括:将目标相邻模型块中的前一模型块的推理结果与对应中间状态值的叠加结果作为下一模型块的输入;目标相邻模型块包括任一次循环推理过程中的最后一个模型块和下一次循环推理过程中的第一个模型块。

    一种问答方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN118394892A

    公开(公告)日:2024-07-26

    申请号:CN202410866727.1

    申请日:2024-07-01

    Abstract: 本发明公开了一种问答方法、装置、设备及计算机可读存储介质,涉及自然语言处理技术领域,包括:接收待回答的目标问题;利用文本转向量模型对目标问题进行向量化处理,得到问题向量;利用向量库对问题向量进行相似文本检索,得到知识库检索结果;根据知识库检索结果构造目标提示词;利用推理模型对目标提示词进行推理,得到目标推理结果;将知识库检索结果和目标推理结果返回给目标问题的问题发送端。应用本发明所提供的问答方法,解决了问答的检索结果相关性不高,容易产生幻觉和事实错误等问题,适用于各种应用场景,实现了对最终的目标推理结果和引用的知识库检索结果的同时展示,确保用户能够直观地看到模型推理的依据,降低幻觉风险。

    一种算子调度方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN118394348A

    公开(公告)日:2024-07-26

    申请号:CN202410853484.8

    申请日:2024-06-28

    Abstract: 本发明公开了一种算子调度方法、装置、设备及计算机可读存储介质,涉及深度学习技术领域,包括:获取当前深度学习框架中包含的各待调度算子和计算逻辑;从后端算子库中查找各待调度算子;利用高级语言表达式根据计算逻辑对各待调度算子进行组合,得到目标表达式;利用执行引擎对目标表达式进行解析,得到解析结果;根据解析结果利用预设通用函数接口对各待调度算子进行调度,以对当前深度学习框架的输入数据进行计算处理。应用本发明所提供的算子调度方法,解决了目前的算子调度方法维护的复杂性高,开发工作量高,算子调度效率低等问题,减少了算子间调用的差异性,简化了算子的使用和维护,提升了深度学习框架后端算子的调用效率。

Patent Agency Ranking