-
公开(公告)号:CN117194331A
公开(公告)日:2023-12-08
申请号:CN202311123924.6
申请日:2023-09-01
Applicant: 之江实验室
Abstract: 本发明公开了一种支持隐匿查询的索引构建和检索方法及装置,所述方法包括以下步骤:构建包含数据表、二级索引以及一级索引的索引与数据存储结构;基于构建的索引与数据存储结构进行隐匿查询检索。上述方法构建出一种独立、通用的、支持在隐匿查询中使用的索引结构,依托该结构可高效地对关键字进行隐匿查询。索引构建方面,通过设计独立索引结构,与隐匿查询技术解耦合;通过两级索引构建实现对分桶和定位的支持。检索方面,通过一级索引定位索引桶;通过二级索引定位数据。该方法填补隐匿查询领域独立索引的空白,为现有的隐匿查询技术提供一种通用、高效的索引构建和检索方案。
-
公开(公告)号:CN118535887B
公开(公告)日:2024-10-08
申请号:CN202411008196.9
申请日:2024-07-26
Applicant: 之江实验室
IPC: G06F18/21 , G06F16/16 , G06F16/172 , G06N3/045
Abstract: 本发明公开了一种大语言模型高效微调测评方法和系统,包括:文件存储模块,用于存储文件并支持通过文件路径对存储文件内容进行增加、删除、查询和修改操作,文件存储模块包括基础模型区、微调模型区、基线数据区、过程存储区和结果存储区;结构化存储模块,采用关系型数据库存储测评相关的结构化数据,结构化数据包括模型信息、基线数据信息、模板信息、流水线信息和任务信息;测评程序模块,用于调用文件存储模块和结构化存储模块进行测评系统的执行,测评程序模块包括系统信息配置功能、执行与调度功能和测评信息管理功能。本发明能够有效管理微调模型多版本和对应测评结果,将模型测评工作流程化,提高测评构建效率。
-
公开(公告)号:CN117033442B
公开(公告)日:2025-02-11
申请号:CN202311035190.6
申请日:2023-08-16
Applicant: 之江实验室
IPC: G06F16/2455 , G06F21/31
Abstract: 本说明书公开了一种数据聚合的方法、装置、存储介质及电子设备,包括:接收各智能设备发送的掩码数据以及各掩码数据分别对应的标签值。根据各掩码数据以及各标签值,基于预先构建的聚合树,对各掩码数据进行聚合,确定掩码结果。然后,接收各智能设备发送的掩码结果的掩码比特份额以及掩码比特份额对应的消息验证,根据各掩码比特份额对应的消息验证码,对各掩码比特份额进行验证。在验证通过时,根据各掩码比特份额对掩码结果进行解密,确定聚合结果,保证各智能设备发送的各掩码比特份额的准确性,并采用验证通过的各掩码比特份额对掩码结果进行解密,保证聚合结果的准确性。
-
公开(公告)号:CN118535887A
公开(公告)日:2024-08-23
申请号:CN202411008196.9
申请日:2024-07-26
Applicant: 之江实验室
IPC: G06F18/21 , G06F16/16 , G06F16/172 , G06N3/045
Abstract: 本发明公开了一种大语言模型高效微调测评方法和系统,包括:文件存储模块,用于存储文件并支持通过文件路径对存储文件内容进行增加、删除、查询和修改操作,文件存储模块包括基础模型区、微调模型区、基线数据区、过程存储区和结果存储区;结构化存储模块,采用关系型数据库存储测评相关的结构化数据,结构化数据包括模型信息、基线数据信息、模板信息、流水线信息和任务信息;测评程序模块,用于调用文件存储模块和结构化存储模块进行测评系统的执行,测评程序模块包括系统信息配置功能、执行与调度功能和测评信息管理功能。本发明能够有效管理微调模型多版本和对应测评结果,将模型测评工作流程化,提高测评构建效率。
-
公开(公告)号:CN118394889A
公开(公告)日:2024-07-26
申请号:CN202410806598.7
申请日:2024-06-21
Applicant: 之江实验室
IPC: G06F16/33 , G06F18/214 , G06F21/62 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于梯度压缩的大语言模型联邦微调方法和装置,方法包括以下步骤:基于大语言模型微调中产生的梯度张量构建具有时间序列关系的原始数据集并通过自编码器推理得到重构梯度数据集,构建重构损失函数对自编码器进行优化;在服务器端将大语言模型的基座模型初始化为全局模型,服务器端将全局模型更新至客户端,在客户端利用预训练编码器得到压缩后的梯度,在服务器端利用预训练解码器将压缩后的梯度进行解码和聚合后更新全局模型。本发明能够在保证数据隐私保护的同时实现大语言模型微调效率的提升以及计算资源需求的降低,适用于面向科学计算的大模型微调和训练过程中通信优化提高以及隐私保护增强等应用场景。
-
公开(公告)号:CN117033442A
公开(公告)日:2023-11-10
申请号:CN202311035190.6
申请日:2023-08-16
Applicant: 之江实验室
IPC: G06F16/2455 , G06F21/31
Abstract: 本说明书公开了一种数据聚合的方法、装置、存储介质及电子设备,包括:接收各智能设备发送的掩码数据以及各掩码数据分别对应的标签值。根据各掩码数据以及各标签值,基于预先构建的聚合树,对各掩码数据进行聚合,确定掩码结果。然后,接收各智能设备发送的掩码结果的掩码比特份额以及掩码比特份额对应的消息验证,根据各掩码比特份额对应的消息验证码,对各掩码比特份额进行验证。在验证通过时,根据各掩码比特份额对掩码结果进行解密,确定聚合结果,保证各智能设备发送的各掩码比特份额的准确性,并采用验证通过的各掩码比特份额对掩码结果进行解密,保证聚合结果的准确性。
-
公开(公告)号:CN116821056A
公开(公告)日:2023-09-29
申请号:CN202310727629.5
申请日:2023-06-19
Applicant: 之江实验室
Abstract: 本发明公开了一种基于可信第三方的隐匿查询方法,该方法在基于同态加密技术的由行索引检索的隐匿查询算法基础之上,引入一个可信第三方服务,该第三方不会泄露任何客户端的查询内容。本发明还提供一种隐匿查询系统,装置及存储介质。本发明提供的方法将关键字和行索引构造成特定结构的关键字索引文件并传输至可信第三方,数据查询方通过可信第三方提供的按关键字检索的服务获取行索引,而后复用行索引隐匿查询技术向数据提供方进行查询,从而实现关键字隐匿查询。
-
-
-
-
-
-