-
公开(公告)号：CN118838629B
公开(公告)日：2024-12-06
申请号：CN202411324875.7
申请日：2024-09-23
Applicant: 南京新一代人工智能研究院有限公司 , 中国信息通信研究院 , 杭州市余杭区信通人工智能研究院
Abstract: 本发明公开了一种多指标的可拓展多智能体代码生成评估系统及方法，属于大语言模型（LLM）的评估技术领域，评估系统包括交互多智能体模块、验证智能体模块和管理智能体模块，所述交互多智能体模块中的每个智能体针对不同大语言模型处理其特定的API调用机制、参数配置、数据格式和错误处理机制，输入评测基准数据集，实现快速调用和同步评估；所述验证智能体模块集成多个评价基准，进行代码正确性、效率和可读性的多维评估，全面对比评估不同大语言模型代码生成指标；所述管理智能体模块负责总调度，指导单个智能体根据评估反馈自动生成和优化数据集，从而实现自主代理和数据集的持续优化。
-
公开(公告)号：CN118626354A
公开(公告)日：2024-09-10
申请号：CN202410724666.5
申请日：2024-06-05
Applicant: 中国信息通信研究院
Abstract: 本申请涉及模型测试技术领域，公开一种动态自适应的模型基准测试的方法及装置、测试设备，方法包括：在动态数据库中选取多个测试题目作为第一测试数据集；将第一测试数据集输入目标待测模型，获得目标待测模型的输出结果；根据输出结果，确定目标待测模型的适应度函数结果；若适应度函数结果满足阈值条件，则对输出结果进行分析，获得目标待测模型的能力测试结果；否则，基于演进策略对第一测试数据集进行更新，并利用更新后的第二测试数据集对目标待测模型进行迭代测试。本申请能够更有效地避免遍历全部测试数据集，能够避免“刷榜”问题，能够提高模型能力测试结果的准确性和可信度，能更高效地更精准地挖掘模型缺陷。
-
Patent Agency Ranking
公开(公告)号：CN117290188A
公开(公告)日：2023-12-26
申请号：CN202311342293.7
申请日：2023-10-17
Applicant: 南京新一代人工智能研究院有限公司 , 中国信息通信研究院 , 杭州市余杭区信通人工智能研究院
IPC: G06F11/30 , G06F11/34 , G06N5/022 , G06N3/0455 , G06F16/36
Abstract: 本申请公开了一种基于任务挖掘技术的事件日志获取方法，涉及任务挖掘领域，包括步骤1：在启动实施流程挖掘项目的同时，企业全域的业务操作使用任务挖掘技术进行留存；步骤2：设置任务挖掘保存事件日志数据和流程挖掘工具导入事件日志数据的格式和属性一致；步骤3：按流程挖掘工具导入和清洗数据所需要的数据格式，保存任务挖掘技术留存的事件日志数据；步骤4：将留存的事件日志数据导入流程挖掘工具中做格式测试；步骤5：测试通过后即可使用导入留存数据，本发明规范梳理流程挖掘所需的事件日志数据，生成流程挖掘工具所需的输入数据，可以跨平台跨系统地采集数据，从根本上解决流程挖掘工具梳理、清洗数据难，有效数据少等问题。
-
公开(公告)号：CN113792542A
公开(公告)日：2021-12-14
申请号：CN202111184182.9
申请日：2021-10-12
Applicant: 南京新一代人工智能研究院有限公司 , 中国信息通信研究院
IPC: G06F40/211 , G06F40/30
Abstract: 本发明涉及自然语言处理中的语义分析技术领域，且公开了一种融合句法分析和语义角色剪枝的意图理解方法，包括预处理模块、语义匹配模块与剪枝模块，根据句子成分剪枝和语义角色剪枝得到的文本与原输入文本联合编码建模，句子成分剪枝保留句子的主语、谓语、宾语等主要句子成分，语义角色剪枝保留句中的核心论元，包括施事、受事、范围、动作开始、动作结束及其他动词相关的论元角色,剪枝的作用是剔除非句子主要成分或核心论元的其他部分，凸显句子的主要语义。本发明其优点在于针对句子过长、描述词过多或用户存在多意图的输入句子进行强化语义；通过依存句法分析和语义角色标注标记表现句子语义的主要词语以联合输入编码的形式增强语义信息。
-
公开(公告)号：CN118966198A
公开(公告)日：2024-11-15
申请号：CN202411025815.5
申请日：2024-07-30
Applicant: 南京新一代人工智能研究院有限公司 , 中国信息通信研究院 , 杭州市余杭区信通人工智能研究院
IPC: G06F40/216 , G06F40/211 , G06F40/30 , G06F18/22
Abstract: 本发明公开了一种基于分支式拼接的低成本检索增强生成评测方法，涉及自然语言处理的检索增强生成技术领域，将训练数据进行“检索问题+输出答案”、“检索问题+检索结果列表”、“检索结果列表+输出答案”的重新分组，用于分别判断语言大模型的答案相关性、上下文相关性和忠实性，针对答案相关性，利用词袋模型和TF‑IDF模型，计算Jaccard相似度、余弦相似度等多种指标；针对忠实性，计算MRR、MSR等指标；针对上下文相关性，使用了基于Textrank的文本处理方法，最终对每一项指标进行综合考量，直到达到预定目标。这种方法不仅提高了评测的全面性和可靠性，也有效降低了评测过程中的主观性和偶然性，使得评测结果更加客观、可信。
-
公开(公告)号：CN118838629A
公开(公告)日：2024-10-25
申请号：CN202411324875.7
申请日：2024-09-23
Applicant: 南京新一代人工智能研究院有限公司 , 中国信息通信研究院 , 杭州市余杭区信通人工智能研究院
Abstract: 本发明公开了一种多指标的可拓展多智能体代码生成评估系统及方法，属于大语言模型（LLM）的评估技术领域，评估系统包括交互多智能体模块、验证智能体模块和管理智能体模块，所述交互多智能体模块中的每个智能体针对不同大语言模型处理其特定的API调用机制、参数配置、数据格式和错误处理机制，输入评测基准数据集，实现快速调用和同步评估；所述验证智能体模块集成多个评价基准，进行代码正确性、效率和可读性的多维评估，全面对比评估不同大语言模型代码生成指标；所述管理智能体模块负责总调度，指导单个智能体根据评估反馈自动生成和优化数据集，从而实现自主代理和数据集的持续优化。
-
公开(公告)号：CN117560157A
公开(公告)日：2024-02-13
申请号：CN202311504796.X
申请日：2023-11-13
Applicant: 南京新一代人工智能研究院有限公司 , 中国信息通信研究院 , 杭州市余杭区信通人工智能研究院
Abstract: 本发明公开一种基于数字签名的业务流程安全保障方法，涉及信息安全安全领域，包括步骤1：以非对称加密算法体系为基础，构建面向业务流程的私钥和公钥密码组，私钥密码组分发给流程节点的操作者，公钥密码组面向业务流程链条公开；步骤2：在每一个业务流程节点的起始处，以私钥对业务流程的核心数据信息进行加签，形成签名；步骤3：在下游业务流程节点的接收处进行验签，形成验证点集合；步骤4：以验签结果来判断业务流程传递过程中核心数据信息是否发生篡改，本发明实现业务流程从初始创建到最终完成，各个阶段的操作安全合规，业务流程的本质属性、核心信息等不因流转而发生变化，避免各类有意或无意的篡改，维持好业务流程的一致性。
-
-
-
-
-
-
Search Results
7
records
(took 0.02 seconds)
