公开(公告)号：CN118966235A

公开(公告)日：2024-11-15

申请号：CN202411091576.3

申请日：2024-08-09

Applicant: 哈尔滨思和信息技术股份有限公司

Inventor： 马旭春 ,  张刚 ,  李健 ,  王旭 ,  范斌 ,  赵志刚 ,  王昊 ,  刘佳男

IPC: G06F40/30 ,  G06F16/35 ,  G06F18/22 ,  G06F40/284 ,  G06F40/268 ,  G06F40/211 ,  G06Q10/0631

Abstract: 本发明公开了一种任务处理方法、装置、设备及介质。该方法包括：在接收到目标对象的问题数据时，确定与问题数据相对应的目标提问语义，确定与目标提问语义相对应的业务类型；在业务类型与预设类型相一致时，获取与业务类型相关联的事件流程中的当前未处理节点并展示；在接收到与待决策项相对应的决策数据时，确定决策数据和与待决策项相对应的预设选项之间的相似度；基于相似度确定目标处理意向，在目标处理意向和预设意向相一致时，更新当前未处理节点的执行状态。解决了现有技术中通过语义分析用户反馈数据，导致应答结果与用户业务需求不符，实现提高语义分析的准确性，确保反馈结果是与用户提问的信息是相符的，达到提高用户体验的效果。

公开(公告)号：CN119025877A

公开(公告)日：2024-11-26

申请号：CN202411141999.1

申请日：2024-08-20

Applicant: 哈尔滨思和信息技术股份有限公司

Inventor： 马旭春 ,  张刚 ,  王旭 ,  范斌 ,  赵志刚 ,  王昊 ,  陈冠男

IPC: G06F18/21 ,  G06F18/22 ,  G06F16/332

Abstract: 本发明公开了一种模型性能评估方法、装置、电子设备及存储介质，其中，该方法包括：从待使用文本数据中提取至少一个原子事实；针对各事实原子，基于待评估模型对当前事实原子中的待回答问题进行问题分析和答复，得到与待回答问题对应的待评估答案；基于预先构建的目标模型确定与标准答案对应的事实嵌入向量，以及与待评估答案对应的待比对向量；基于事实嵌入向量和待比对向量确定待评估答案对待回答问题的事实支持属性；根据所有的待评估答案对相应的待回答问题的事实支持属性，确定待评估模型的模型性能评估结果。实现了更加客观准确的对大语言模型进行模型性能评估的效果。