-
公开(公告)号：CN115633031B
公开(公告)日：2024-02-23
申请号：CN202211082723.1
申请日：2022-09-06
Applicant: 鹏城实验室
Abstract: 本发明公开了一种启发式指导的异步历史优化方法及相关设备，所述方法包括：获取集群控制节点和工作节点，控制所述集群控制节点对模型的参数及计算图进行初始化，并将初始化后的数据发送至所述工作节点；控制所述工作节点对所述数据进行训练，通过训练得到的状态表记录信息，并控制所述工作节点将所述状态表发送至所述集群控制节点；在所述集群控制节点接收所述状态表后，控制所述集群控制节点异步进行所述计算图的更新和所述工作节点的参数优化。本发明通过集群控制节点不断整合多轮迭代中各工作节点的状态表并加以存储，通过不断更新计算图使得整个系统效率最优化，并通过还原历史梯度以辅助工作节点更新参数，以提高整个系统的精度。
-
公开(公告)号：CN115859097A
公开(公告)日：2023-03-28
申请号：CN202211441966.X
申请日：2022-11-17
Applicant: 鹏城实验室
IPC: G06F18/214 , G06N3/08
Abstract: 本发明公开了一种面向智慧科学的高扩展共享计算平台及方法，包括：发布模块，所述发布模块用于根据用户指令将本地预训练模型参数与预处理数据上传至存储节点，并通过解析模型参数量、使用框架以及关联数据集，生成对应的模型及数据描述文件；执行模块，所述执行模块用于将模型、数据以及计算资源进行结合，执行智慧科学模型的训练推理过程。本发明解决传统并行训练方式训练效率低及无法满足科学大模型的训练与微调的需求的问题，可适用于多个科学领域的神经网络模块的训练。
-
公开(公告)号：CN118536584A
公开(公告)日：2024-08-23
申请号：CN202410599900.6
申请日：2024-05-15
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种知识图谱优化方法及装置、电子设备及存储介质，涉及人工智能技术领域。该方法包括：向大语言模型输入关于第一实体的第一提问语和关于第二实体的第二提问语，分别得到第一语义描述和第二语义描述，从而确定第一实体和第二实体的第一相似度；从知识图谱中获取待检三元组；根据待检三元组，生成头实体语义表征、头实体结构表征、尾实体语义表征、尾实体结构表征和关系表征，从而确定待检三元组的置信度；根据第一相似度对第一实体和第二实体进行实体合并处理，以及，根据置信度对知识图谱中相应待检三元组对应的目标关系链路进行更新处理。本申请实施例能够提高了知识图谱的优化效率，减少了知识图谱噪声对模型性能的影响。
-
公开(公告)号：CN119719273A
公开(公告)日：2025-03-28
申请号：CN202411690125.1
申请日：2024-11-22
Applicant: 鹏城实验室
IPC: G06F16/3329 , G06F16/338 , G06N5/04
Abstract: 本申请实施例提供了一种基于大语言模型的知识查询方法、装置、设备及存储介质。包括：获取目标知识领域关联的待查询语句并输入至目标大语言模型中，得到知识查询结果；其中，目标大语言模型由预训练的大语言模型基于预测样本查询结果和真实样本查询结果进行差异最小化训练得到，预测样本查询结果由预训练的大语言模型基于样本嵌入向量和样本指示语句生成，样本嵌入向量根据第一嵌入向量和第二嵌入向量进行聚合得到；样本目标路径根据样本待查询语句和多条样本候选路径之间的相似度确定得到；每条样本候选路径按照多条样本元路径从领域知识图谱包含的实体以及实体之间的关联关系中匹配得到。以此，能够提高大语言模型生成查询结果的准确性。
-
公开(公告)号：CN117877572A
公开(公告)日：2024-04-12
申请号：CN202410046105.4
申请日：2024-01-11
Applicant: 鹏城实验室
Abstract: 本申请实施例提供基因检测结果生成方法、装置、设备和存储介质，涉及人工智能技术领域。该方法获取基因表达矩阵和细胞类型模板，计算标准表达量与待测表达量的相关系数，基于相关系数选取细胞类型作为待测细胞的目标类别，再对同一目标类别的待测细胞对应的待测表达量进行合并，得到合并表达量矩阵，基于预设细胞因子，从合并表达量矩阵中选取细胞因子训练数据，最后利用细胞因子训练数据训练用于生成待测基因表达矩阵的基因检测结果的基因检测模型。利用细胞类型模板对待测细胞进行标注获取目标类别，再根据目标类别生成细胞因子训练数据训练基因检测模型，建立细胞因子表达与基因检测结果之间的映射关系，提升基因检测结果的准确性。
-
Patent Agency Ranking
公开(公告)号：CN117176723A
公开(公告)日：2023-12-05
申请号：CN202311011018.7
申请日：2023-08-10
Applicant: 鹏城实验室
IPC: H04L67/1004 , G06N5/022 , G06N5/04
Abstract: 本申请实施例提供了一种边缘计算的负载均衡控制方法、系统、设备及存储介质，属于数据交互技术领域。方法包括：获取用户设备发送的网络请求信息并确定发送的请求时间；获取当前请求时间下多个通信设备的状态信息，并以用户设备和多个通信设备为节点，以请求时间和状态信息作为各个节点对应的属性，构建时序知识图谱；将时序知识图谱输入到预先训练得到的图神经网络模型中进行处理，预测得到未来多个时间段下用户设备与各个通信设备之间连接的评估值；根据评估值，从多个通信设备中确定每个未来时间段下满足网络连接需求的目标设备，并向用户设备发送连接指令，以使用户设备在每个未来时间段下分别与对应的目标设备通信连接。
-
公开(公告)号：CN115481729A
公开(公告)日：2022-12-16
申请号：CN202211143025.8
申请日：2022-09-20
Applicant: 鹏城实验室
Abstract: 本发明涉及图像处理技术领域，具体是涉及一种混合算子模型并行训练方法、装置、设备及存储介质。本发明首先将混合算子模型分割成支路模型，即将混合算子模型化整为零，然后将在每个训练节点上训练一个支路模型，使得各个训练节点同时并行训练各个支路模型，最后将各个支路模型的输出结果进行汇总，得到混合算子模型的整体输出结果，根据该整体输出结果调整模型参数，完成模型训练。从上述分析可知，本发明通过在各个训练节点上训练各个支路模型实现了并行训练，而并行训练能够节省训练时间，以提高训练速度，使得混合算子模型快速收敛。
-
公开(公告)号：CN117215735A
公开(公告)日：2023-12-12
申请号：CN202310969665.2
申请日：2023-08-01
Applicant: 鹏城实验室
Abstract: 本申请公开了一种任务调度方法、电子设备及存储介质，应用于人工智能领域，包括：由计算节点获取训练数据和模型超参数；由计算节点将训练数据和模型超参数输入至训练好的元学习模型，得到模型功耗；由计算节点根据模型功耗得到节点信息，并将节点信息发送至对应的调度节点；由调度节点根据节点信息将计算节点划分为多个分布式集群，以形成多条传输路径；由计算节点获取任务数据，并通过对应的传输路径对任务数据进行任务调度。本申请实施例通过元学习模型对系统功耗进行预测，以使设备节点层的设备节点对应形成有传输路径，从而降低了任务数据在不同计算节点进行计算的功耗，降低了计算负荷，进而提高了能源利用率，提高了任务执行效率。
-
公开(公告)号：CN115633031A
公开(公告)日：2023-01-20
申请号：CN202211082723.1
申请日：2022-09-06
Applicant: 鹏城实验室
Abstract: 本发明公开了一种启发式指导的异步历史优化方法及相关设备，所述方法包括：获取集群控制节点和工作节点，控制所述集群控制节点对模型的参数及计算图进行初始化，并将初始化后的数据发送至所述工作节点；控制所述工作节点对所述数据进行训练，通过训练得到的状态表记录信息，并控制所述工作节点将所述状态表发送至所述集群控制节点；在所述集群控制节点接收所述状态表后，控制所述集群控制节点异步进行所述计算图的更新和所述工作节点的参数优化。本发明通过集群控制节点不断整合多轮迭代中各工作节点的状态表并加以存储，通过不断更新计算图使得整个系统效率最优化，并通过还原历史梯度以辅助工作节点更新参数，以提高整个系统的精度。
-
公开(公告)号：CN115481730A
公开(公告)日：2022-12-16
申请号：CN202211143030.9
申请日：2022-09-20
Applicant: 鹏城实验室
Abstract: 本发明公开了一种注意力机制模型训练方法、装置、终端及存储介质，包括：获取配置文件，根据配置文件识别各待训练模型，并向各待训练模型分配对应的并行训练策略；根据分配的并行训练策略及对应的模型参数进行数据并行处理，加载配置文件中对应的数据存储位置，得到各待训练模型对应的训练数据；调用全局自扩展模型并行算法，根据得到的训练数据、分配的并行训练策略及配置文件中的模型参数对各待训练模型进行并行训练，得到各待训练模型的训练结果。本发明实现了可自动伸缩的强扩展策略，框架可根据用户使用的模型，数据量大小自动扩展并行规模并修改矩阵切分维度，提高了注意力机制模型并行训练的效率。
-
-
-
-
-
-
-
-
-
Search Results
11
records
(took 0.016 seconds)
