一种适用于大规模并行软件GTC的核心模块Pushe的高效向量化方法

    公开(公告)号:CN105808310A

    公开(公告)日:2016-07-27

    申请号:CN201610198144.1

    申请日:2016-04-01

    Inventor: 吴韶华

    CPC classification number: G06F8/452 G06F8/443 G06F8/47

    Abstract: 本发明公开了一种适用于大规模并行软件GTC的核心模块Pushe的高效向量化方法,该方法如下:将原GTC软件中核心模块Pushe通过循环分块,对代码进行辨识,将不能向量化的代码隔离出来,对其余部分的代码进行向量化。本发明的一种适用于大规模并行软件GTC的核心模块Pushe的高效向量化方法和现有技术相比,具有操作方便、易于实现等特点,通过循环分块,隔离不能被向量化的代码,使其不再影响循环其余部分的向量化属性,以此保证对所有可向量化的代码全部向量化,进而提高GTC软件的性能。

    一种基于MIC平台实现GMRES算法并行加速的方法

    公开(公告)号:CN104408019A

    公开(公告)日:2015-03-11

    申请号:CN201410591315.8

    申请日:2014-10-29

    Abstract: 本发明公开了一种基于MIC平台实现GMRES算法并行加速的方法,属于GMRES算法技术领域,本发明要解决如何通过MIC加速GMRES算法求解大规模线性方程组的技术问题,技术方案为:CPU端负责数据读取,程序串行部分的计算,逻辑控制,同时设定内核的线程执行配置,启动MIC端计算,并接受MIC端的迭代结果;MIC端根据内核线程执行配置启用相应的线程对程序中的并行部分实施计算;GMRES算法进行并行性分析,定位热点与性能瓶颈;根据并行性及热点分析,实现基于CPU端的OpenMP并行程序版本;根据GMRES算法的特点,基于CPU端或者MIC端异构平台进行整体任务分配设计;根据整体任务分配设计,将CPU端的OpenMP版本移植到MIC端。

    一种利用MIC加速三维纵横波分离的弹性波方程模拟的方法

    公开(公告)号:CN104331320A

    公开(公告)日:2015-02-04

    申请号:CN201410595408.8

    申请日:2014-10-30

    Abstract: 本发明公开了一种利用MIC加速三维纵横波分离的弹性波方程模拟的方法,属于高性能计算领域,所述方法涉及到的硬件为CPU处理器、MIC众核处理器,CPU处理器用于执行程序的逻辑控制,控制三维纵横波分离的弹性波方程模拟的IO操作,控制MIC众核处理器的调用,以及控制CPU处理器和MIC众核处理器之间的通信;MIC众核处理器用于三维纵横波分离的弹性波方程模拟的核心计算,利用OpenMP多线程在MIC众核处理器上启动多线程并行计算三维纵横波分离的弹性波方程模拟。本发明利用MIC强大计算能力加速三维纵横波分离的弹性波方程模拟的计算速度,充分发挥CPU和MIC的计算能力,达到计算性能的最优化。

    一种数据处理方法、装置、设备、介质及程序产品

    公开(公告)号:CN119311737B

    公开(公告)日:2025-03-21

    申请号:CN202411876220.0

    申请日:2024-12-19

    Abstract: 本申请公开了计算机技术领域内的一种数据处理方法、装置、设备、介质及程序产品。本申请在模型推理的初始化阶段,创建第一缓存区和第二缓存区;若接收到模型推理请求,则将模型推理请求的预处理阶段的上下文信息存储至第一缓存区;基于第一缓存区中的上下文信息,执行模型推理请求的解码阶段中的各个解码操作;其中,将前一解码操作的上下文信息存储至第二缓存区,基于第二缓存区中的上下文信息执行前一解码操作的后一解码操作。该方案基于以空间换推理效率的原则,利用两个缓存区分别存储预处理阶段和解码阶段的上下文信息,提升了模型推理性能和效率,无需更改模型结构,可使模型快速上线应用。

    文本生成方法、装置、主机设备、系统、程序产品和介质

    公开(公告)号:CN119005135A

    公开(公告)日:2024-11-22

    申请号:CN202411481072.2

    申请日:2024-10-23

    Inventor: 申冲 王超 吴韶华

    Abstract: 本发明提供一种文本生成方法、装置、主机设备、系统、程序产品和介质,涉及人工智能领域,方法包括:获取输入文本;输入文本包括内容概述文本和词语参考文本,词语参考文本包含指定词语;利用预训练语言模型根据输入文本执行文本生成操作,得到与生成式文本中的单词对应的逻辑矩阵;预训练语言模型具有包含候选单词的词表,逻辑矩阵用于确定候选单词的选择概率,选择概率为候选单词被选为生成式文本中的单词的概率;利用预训练概率转移模型中的神经网络层对逻辑矩阵进行处理,以增大候选单词中的指定候选单词的选择概率,得到已调整逻辑矩阵;指定词语由至少一个指定候选单词组成;利用已调整逻辑矩阵确定生成式文本;可优化文本生成效果。

    一种基于检索增强生成的检索方法、产品、设备及介质

    公开(公告)号:CN119003795A

    公开(公告)日:2024-11-22

    申请号:CN202411481538.9

    申请日:2024-10-23

    Abstract: 本发明公开了一种基于检索增强生成的检索方法、产品、设备及介质,涉及自然语言处理技术领域。方案具体通过识别初始查询信息中的实体,能够帮助系统捕获用户查询中的关键信息和语义结构,从而提升查询理解的准确率;基于知识图谱对初始查询信息中的实体进行扩展,能够补充隐含的背景信息,使系统更好地处理不完整或模糊的查询;并且知识图谱的引入使系统能够利用领域特定的结构化知识,更好地理解和处理专业领域的查询;同时,知识图谱可以便捷地扩展或替换为不同领域的专业知识库,提高了系统的适应性。在语义匹配过程中,将关键词匹配与语义匹配相结合,多层语义匹配能够更全面地理解用户查询意图和待检索的文本块内容,显著地提升了检索精度。

    一种文本生成方法、装置、电子设备、程序产品及存储介质

    公开(公告)号:CN118690010A

    公开(公告)日:2024-09-24

    申请号:CN202410867700.4

    申请日:2024-06-30

    Abstract: 本发明提供一种文本生成方法、装置、电子设备、程序产品及存储介质,涉及人工智能领域,方法包括:接收输入图像和输入文本,并分别对输入图像和输入文本进行编码,得到图像表征向量和文本表征向量;利用图像表征向量对文本表征向量进行交叉注意力处理,并对交叉注意力处理结果进行自注意力处理得到特征提取向量;对特征提取向量进行逻辑计算,得到根据输入图像和输入文本二者的语义所生成的输出文本;可通过调整图像与文本间的特征交互方式,避免产生输入序列长度的二次方的计算增加,进而可减少模型的算力需求,并能够有效提升用户的使用体验。

    一种模型训练方法、产品、设备及计算机可读存储介质

    公开(公告)号:CN118395194B

    公开(公告)日:2024-09-13

    申请号:CN202410853483.3

    申请日:2024-06-28

    Abstract: 本发明公开了一种模型训练方法、产品、设备及计算机可读存储介质,涉及分布式训练领域,为解决上层训练框架和加速装置之间兼容难度大的问题,该模型训练方法包括在与通用接入平台连接的多个备选加速装置中确定目标加速装置;通用接入平台包括多个待编译模块;基于满足目标加速装置的运行需求的编译信息对至少一个待编译模块中定义的虚拟方法进行实例化,以创建方法实例;控制当前训练框架在当前训练阶段调用对应的待编译模块中的方法实例训练预设模型。本发明能够降低分布式训练中的上层训练框架和加速装置之间的兼容难度,无需对加速装置进行适配开发,降低加速装置的开发难度和维护难度。

    一种人工智能芯片接入系统及其构建方法、算子调用方法

    公开(公告)号:CN118550860A

    公开(公告)日:2024-08-27

    申请号:CN202410814718.8

    申请日:2024-06-21

    Inventor: 李柏宏 吴韶华

    Abstract: 本申请公开了一种人工智能芯片接入系统及其构建方法、算子调用方法及设备、存储介质和计算机程序产品,该人工智能芯片接入系统包括:统一接口层,包括调用算子的统一接口;公共处理层,用于实现不同类型的人工智能芯片调用算子的公共逻辑操作;芯片处理层,包括不同类型的人工智能芯片对应的处理模块,处理模块用于实现对应类型的人工智能芯片调用算子的特有逻辑操作。本申请通过算子的统一接口使得相同的算子可以在不同类型的人工智能芯片上以相同的方式进行调用,通过公共处理层提取算子的公共逻辑操作,实现不同类型的人工智能芯片实现算子功能的代码复用,提高了新接入人工智能芯片的开发效率,提高了人工智能芯片的接入效率。

    一种数据过滤方法、装置、设备及介质

    公开(公告)号:CN118467769A

    公开(公告)日:2024-08-09

    申请号:CN202410444780.2

    申请日:2024-04-12

    Abstract: 本发明公开了一种数据过滤方法、装置、设备及介质,涉及数据处理技术领域。通过训练图文对数据的图像数据和文本数据结合关键字信息进行匹配处理得到标注未完全匹配和完全匹配对应的数据,基于标注样本数据训练得到多模态样本质量识别模型,以进行初始图文对数据的识别,得到过滤后的图文对数据,避免传统的多模态大模型数据过滤过程采用人工标注方式进行过滤带来的效率降低和图文对数据质量降低的问题,本发明通过识别模型进行识别过滤,在一定程度上提高过滤效率。另外,对于匹配处理过程中存在的幻视模糊情况,本发明在训练识别模型时采用统一的关键字信息对图文对数据进行匹配处理的数据质量把控,提高图文对数据的质量。

Patent Agency Ranking