公开(公告)号：CN118939757A

公开(公告)日：2024-11-12

申请号：CN202410990608.7

申请日：2024-07-23

申请人： 浙江大学 ,  杭州高新区(滨江)区块链与数据安全研究院

发明人： 寿黎但 ,  沈彦辛 ,  陈珂 ,  谢钟乐 ,  陈刚 ,  骆歆远 ,  张帅

IPC分类号： G06F16/33 ,  G06F16/338 ,  G06F16/31 ,  G06F40/216

摘要： 本发明公开了一种基于大语言模型的零样本跨语言重排序方法、电子设备、介质，包括：获取若干语言种类对应的查询，以及若干语言种类对应的文档数据；对每一语言种类对应的文档数据建立词条到文档的映射，得到对应的倒排索引；将查询输入至该语言种类对应的倒排索引，得到每一查询对应的第一重排文档列表；对于每一查询，将查询分解为若干个子查询，对该查询对应的第一重排文档列表中的每一文档设置唯一标志符；设置提示词模板，将查询、子查询、第一重排文档列表、每一文档对应的唯一标志符、提示词模板输入至大语言模型中，输出每一文档与查询的相关性标志符排序，得到每一查询对应的第二重排文档列表。

公开(公告)号：CN118569356A

公开(公告)日：2024-08-30

申请号：CN202410729737.0

申请日：2024-06-06

申请人： 浙江大学 ,  杭州高新区(滨江)区块链与数据安全研究院

发明人： 寿黎但 ,  周众泽 ,  陈珂 ,  谢钟乐 ,  骆歆远 ,  陈刚 ,  张帅

IPC分类号： G06N3/098 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/094 ,  G06N5/04 ,  H04L67/10 ,  G06V10/82 ,  G06V10/94 ,  G06V10/764 ,  G16H50/20

摘要： 本发明公开了一种基于分组生成及联邦学习的业务执行方法、设备、介质，应用于客户端，包括：接收服务器下发的基准数据集、初始化的业务执行网络和生成对抗网络；利用本地数据集对业务执行网络进行训练，从而在基准数据集上进行推断，统计各标签的准确率组成向量；每一组别参与联邦学习的每轮迭代训练过程，包括对生成对抗网络进行训练；将高斯噪声输入随机选取的若干个经服务器聚合得到的全局对抗生成模型得到合成样本集；其中，每一组别是服务器基于经阈值截断、随机翻转的准确率组成向量对客户端进行分组得到；利用合成样本集和本地数据集对重新初始化的业务执行网络进行训练；接收经服务器聚合得到的全局业务执行网络，以此执行业务任务。

公开(公告)号：CN118673319A

公开(公告)日：2024-09-20

申请号：CN202410714775.9

申请日：2024-06-04

申请人： 浙江大学 ,  杭州高新区(滨江)区块链与数据安全研究院

发明人： 陈珂 ,  吴雨 ,  张帅 ,  谢钟乐 ,  寿黎但

IPC分类号： G06F18/214 ,  G06N3/084

摘要： 本发明公开了一种针对分割学习数据推断攻击的防御方法、电子设备、介质，应用于客户端，包括：获取隐私训练数据，随机生成C类数据，将每类数据打乱插入到隐私训练数据中作为客户端的训练数据集；将训练数据集输入至客户端模型中，输出得到中间特征；接收服务器模型下发的激活梯度；其中，所述激活梯度为服务器模型基于中间特征及对应的标签计算得到的损失值，根据损失值在服务器模型上进行后向传播更新服务器模型，输出激活梯度；基于激活梯度更新客户端模型；使得攻击者端将中间特征并输入至训练好的辅助模型h，输出扭曲目标特征空间Z；扭曲目标特征空间Z输入至训练好的解码器g‑1，无法得到反演重建结果，从而完成防御。

公开(公告)号：CN118503435A

公开(公告)日：2024-08-16

申请号：CN202410977333.3

申请日：2024-07-22

申请人： 浙江大学 ,  杭州高新区(滨江)区块链与数据安全研究院

发明人： 寿黎但 ,  喻琳珠 ,  李环 ,  陈珂 ,  骆歆远 ,  张帅 ,  陈刚

IPC分类号： G06F16/35 ,  G06F18/214 ,  G06N3/045 ,  G06N3/0495 ,  G06N3/084 ,  G06N3/0895 ,  G06N3/096 ,  G06N3/0455

摘要： 本发明公开了一种基于知识融合的多未知领域文本分类方法、设备、介质，包括：基于预先训练好的n个教师模型构建2n‑1个教师模型组合；对每一个仅包含一个教师模型的教师模型组合进行第一采样，得到训练好的学生模型及其分类准确率，将教师模型组合‑分类准确率数据对作为初始的观测信息；基于当前的观测信息选择教师模型组合；若被选择的教师模型组合为已被采样的教师模型组合，则将观测信息中最大分类准确率对应的学生模型作为文本分类模型；若被选择的教师模型组合为没有被采样且包含两个及以上教师模型时，对该教师模型组合进行第二采样，得到训练好的学生模型及其分类准确率，更新观测信息；通过文本分类模型确定待分类文本的分类结果。

公开(公告)号：CN118503435B

公开(公告)日：2024-10-11

申请号：CN202410977333.3

申请日：2024-07-22

申请人： 浙江大学 ,  杭州高新区(滨江)区块链与数据安全研究院

发明人： 寿黎但 ,  喻琳珠 ,  李环 ,  陈珂 ,  骆歆远 ,  张帅 ,  陈刚

IPC分类号： G06F16/35 ,  G06F18/214 ,  G06N3/045 ,  G06N3/0495 ,  G06N3/084 ,  G06N3/0895 ,  G06N3/096 ,  G06N3/0455

摘要： 本发明公开了一种基于知识融合的多未知领域文本分类方法、设备、介质，包括：基于预先训练好的n个教师模型构建2n‑1个教师模型组合；对每一个仅包含一个教师模型的教师模型组合进行第一采样，得到训练好的学生模型及其分类准确率，将教师模型组合‑分类准确率数据对作为初始的观测信息；基于当前的观测信息选择教师模型组合；若被选择的教师模型组合为已被采样的教师模型组合，则将观测信息中最大分类准确率对应的学生模型作为文本分类模型；若被选择的教师模型组合为没有被采样且包含两个及以上教师模型时，对该教师模型组合进行第二采样，得到训练好的学生模型及其分类准确率，更新观测信息；通过文本分类模型确定待分类文本的分类结果。

公开(公告)号：CN118312092A

公开(公告)日：2024-07-09

申请号：CN202410200910.8

申请日：2024-02-23

申请人： 浙江大学

发明人： 寿黎但 ,  张志国 ,  陈珂 ,  谢钟乐 ,  骆歆远 ,  陈刚

IPC分类号： G06F3/06 ,  G06F12/0893 ,  G06F12/0877

摘要： 本发明公开了一种基于持久化学习索引的数据存储系统及方法，包括：持久化内存和与其耦接的动态随机存取内存；所述持久化内存中存储有内部节点层以及叶节点层；其中，内部节点层是由若干个内部节点组成的树形结构，每一内部节点包含一内部节点模型和一槽位数组；叶节点层是由叶节点组成的双向链表，每一叶节点包含一头部信息和一键值对块数组；其中，最底层的内部节点的槽位数组中存储了指向叶节点和块元数据数组的指针；所述动态随机存取内存中存储有块元数据，所述块元数据用于存储叶节点中每个键值对块数组中键的指纹信息。所述系统还包括：持久化内存中存储的溢出缓存和动态随机存取内存中存储的缓存元数据。

公开(公告)号：CN113657607B

公开(公告)日：2024-03-22

申请号：CN202110894758.4

申请日：2021-08-05

申请人： 浙江大学

发明人： 陈珂 ,  谢钟乐 ,  寿黎但 ,  江大伟 ,  马宇航 ,  伍赛

IPC分类号： G06N3/098 ,  G06N3/096 ,  G06F16/35 ,  G06F21/62

摘要： 本发明公开了一种面向联邦学习的连续学习方法。联邦学习服务端和各个客户端在确定学习任务后，通过搜集若干个与任务类型匹配的无隐私问题的公开数据集，各自独立地构建一份辅助数据集，用于后续训练过程；客户端借助知识蒸馏损失让本地模型在学习新任务的同时学习辅助数据集以及辅助标签，从而减少对旧知识的遗忘；服务端借助知识蒸馏损失让聚合模型同时学习辅助数据集以及辅助标签，从而减少模型在聚合过程中产生的遗忘。本发明在隐私安全且通信代价小的基础上，提升了联邦模型的连续学习能力。

公开(公告)号：CN116522220A

公开(公告)日：2023-08-01

申请号：CN202310401602.7

申请日：2023-04-07

申请人： 浙江大学

发明人： 陈珂 ,  王鑫澳 ,  寿黎但 ,  李环 ,  陈刚

IPC分类号： G06F18/241 ,  G06F18/214 ,  G06N20/00 ,  G06F40/289

摘要： 本发明公开了一种基于浅层特征预训练的联邦学习大模型进行文本分类的方法，包括：服务端获取全局模型；客户端获取全局模型的初始参数，并根据全局模型的初始参数和服务端指定的待训练的处理层编号l构建本地模型，对本地模型进行训练；客户端将更新的第l层处理层的参数以及输出层参数上传至服务端进行聚合，得到更新的参数，更新服务端的全局模型，并将更新的参数下发给各个客户端进行新一轮的联邦学习训练；客户端从服务端得到更新的参数和服务端新指定的待训练的处理层编号l'，重复进行联邦学习；完成联邦学习后，服务端使用各个客户端聚合得到的参数替换全局模型的对应参数，得到进一步预训练好的全局模型，微调后进行专业领域的文本分类。

公开(公告)号：CN113032390B

公开(公告)日：2023-03-21

申请号：CN202110162262.8

申请日：2021-02-05

申请人： 浙江大学

发明人： 寿黎但 ,  陈井爽 ,  陈珂 ,  陈刚 ,  骆歆远

IPC分类号： G06F16/22

摘要： 本发明公开了一种内存数据库中的工作负载自适应学习型索引方法。该方法结合基数树和具有最大误差界的分段线性模型，通过机器学习模型利用数据分布来降低索引的内存占用，同时保持稳定的查询性能。在此基础上，使用一种高效的插入缓冲来降低数据插入更新的成本，同时为了缓解数据插入对索引性能的影响，使用两种工作负载自适应的重组优化方法，有针对性地对工作负载中点查询和范围查询涉及的热点数据进行优化。该方法具有较高的构建效率和较低的内存占用，也保证了相对高效的查询性能，并且能够很好地支持插入和更新；同时通过感知查询工作负载有针对性地进行重组优化，以较低的代价降低了插入对于索引性能的影响。

公开(公告)号：CN112069199B

公开(公告)日：2022-08-05

申请号：CN202010842798.X

申请日：2020-08-20

申请人： 浙江大学

发明人： 陈刚 ,  王侠侠 ,  伍赛 ,  陈珂 ,  寿黎但 ,  江大伟 ,  宋明黎

IPC分类号： G06F16/242 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于中间语法树的多轮自然语言转SQL方法。为解决传统端到端方法存在自然语言和SQL间的语义代沟，忽略了SQL内在的语法逻辑等问题，本发明设计了一种类SQL的中间语法树文法，以非端到端的方式，采用编码‑解码架构的语法神经网络，在轮次维度上迭代，按照语法树逻辑由粗到细的两阶段生成每一轮的中间语法树，并在后处理阶段推理生成SQL。应对多轮会话间语义依赖导致生成SQL局部重叠现象，本发明提出了对历史生成SQL的复用策略，进一步地提高了转化准确率。本发明在智能数据库系统等场景中具有广泛的应用前景。