-
公开(公告)号：CN118779876A
公开(公告)日：2024-10-15
申请号：CN202411261676.6
申请日：2024-09-10
申请人： 蚂蚁科技集团股份有限公司
摘要： 本说明书实施例公开了一种基于安全切面的提示语盗取攻击防御方法，该方法基于切面技术实现，通过直接分析的应答内容，并与需要保护的提示语进行语义级别的匹配，不依赖基于先验知识的检测规则，可以抵御各种针对请求的攻击绕过，从而具备更高的召回率和鲁棒性。本说明书实施例所述的基于安全切面的提示语盗取攻击防御装置同样具有上述有益效果。
-
公开(公告)号：CN118779440A
公开(公告)日：2024-10-15
申请号：CN202411277313.1
申请日：2024-09-12
申请人： 蚂蚁科技集团股份有限公司
IPC分类号： G06F16/332 , G06F21/60 , G06F16/31
摘要： 本说明书实施例公开了一种知识检索系统、方法、装置、存储介质及电子设备，属于计算机技术领域，本方法将自己设置的预置问题和预置答案存储在数据库中，并对答案进行加密，当用户使用租户的问答服务时，租户的代理服务器从数据库中检索与用户的实时问题相关的预置问题及其对应的密文预置答案，再解密得到明文预置答案，将用户的实时问题输入LLM，并将预置问题和明文预置答案作为提示信息也输入LLM，使得LLM根据提示信息生成实时问题对应的实时答案，不仅可以提高知识检索的准确性，还可以保证各租户设置的预置问题和预置答案的信息安全。
-
公开(公告)号：CN118568243A
公开(公告)日：2024-08-30
申请号：CN202411046553.0
申请日：2024-07-31
申请人： 蚂蚁科技集团股份有限公司
IPC分类号： G06F16/332 , G06F16/33 , G06F16/36 , G06N5/022 , G06F21/62
摘要： 本说明书实施例公开了一种多方联合知识检索增强方法及装置、系统、介质、设备，首先，获取客户端发起的提问请求，提问请求包括提问输入数据；将提问输入数据发送到多个知识提供端的知识检索增强数据库，以从知识检索增强数据库中获取加密后的至少一个检索增强数据；对各检索增强数据进行解密，整合得到知识增强上下文数据；将知识增强上下文数据发送到部署有大语言模型的服务端，以通过知识增强上下文数据、提问输入数据和大语言模型确定提问输入数据对应的回答反馈数据。本技术方案能够在提升回答反馈数据的准确性和有效性的同时，有效保证各知识提供端的隐私数据的安全性，降低隐私数据集中存储的隐私泄露风险。
-
公开(公告)号：CN118428333A
公开(公告)日：2024-08-02
申请号：CN202410889480.5
申请日：2024-07-03
申请人： 蚂蚁科技集团股份有限公司
IPC分类号： G06F40/166 , G06F40/216
摘要： 本说明书实施例公开了一种用于增强文本数据的方法、装置、存储介质及电子设备，根据第一文本数据及待增强模型的模型标识信息构建第一提示词，根据第一提示词及第一预测结果构建第一标签信息；根据第一提示词及第一标签信息对编辑模型进行训练，获得训练后的编辑模型；对第一文本数据进行文本单元遮掩，获得遮掩后的第二文本数据，根据第二文本数据、第二预测结果及模型标识信息构建第二提示词；将第二提示词输入训练后的编辑模型，使得训练后的编辑模型对被遮掩的文本单元进行补全生成第三文本数据，并基于第三文本数据获得对应的输出结果；判断所述输出结果中是否存在目标第三文本数据，若不存在，将已生成的第三文本数据作为增强数据。
-
公开(公告)号：CN118428333B
公开(公告)日：2024-11-05
申请号：CN202410889480.5
申请日：2024-07-03
申请人： 蚂蚁科技集团股份有限公司
IPC分类号： G06F40/166 , G06F40/216
摘要： 本说明书实施例公开了一种用于增强文本数据的方法、装置、存储介质及电子设备，根据第一文本数据及待增强模型的模型标识信息构建第一提示词，根据第一提示词及第一预测结果构建第一标签信息；根据第一提示词及第一标签信息对编辑模型进行训练，获得训练后的编辑模型；对第一文本数据进行文本单元遮掩，获得遮掩后的第二文本数据，根据第二文本数据、第二预测结果及模型标识信息构建第二提示词；将第二提示词输入训练后的编辑模型，使得训练后的编辑模型对被遮掩的文本单元进行补全生成第三文本数据，并基于第三文本数据获得对应的输出结果；判断所述输出结果中是否存在目标第三文本数据，若不存在，将已生成的第三文本数据作为增强数据。
-
公开(公告)号：CN118296654B
公开(公告)日：2024-10-29
申请号：CN202410720609.X
申请日：2024-06-05
申请人： 蚂蚁科技集团股份有限公司
IPC分类号： G06F21/62 , G06F16/332
摘要： 本说明书实施例公开了一种知识检索增强的隐私保护方法及装置、系统、设备、介质，首先接收用户提问数据，从外接的知识数据库中确定用户提问数据关联的候选上下文数据，并对候选上下文数据进行隐私保护处理，得到目标上下文数据；然后基于用户提问数据和目标上下文数据，生成问答提示数据，并最终将问答提示数据输入到训练好的大语言模型中，得到用户提问数据对应的回答数据。本技术方案能够从数据源头上实现对隐私敏感数据的保护，避免攻击者通过与大语言模型的问题得到数据库中的隐私敏感数据，有效提升隐私敏感数据的安全性。
-
公开(公告)号：CN118784376A
公开(公告)日：2024-10-15
申请号：CN202411263906.2
申请日：2024-09-10
申请人： 蚂蚁科技集团股份有限公司
IPC分类号： H04L9/40
摘要： 本说明书实施例公开了一种基于切点的请求大模型的方法、装置、存储介质及电子设备，响应于用户在目标应用中向目标大模型发起的提问请求，基于在与所述提问请求关联的目标函数中嵌入的切点，拦截与所述目标大模型相关的目标请求，检测所述目标请求中是否包含与敏感信息相关的目标内容；若所述目标请求中包含所述目标内容，针对所述目标请求执行预设响应操作，否则，使得所述目标函数基于所述目标请求继续执行。根据本说明书实施例的方案，可以不依赖用户查看报警并及时响应，具有更高的安全性，并且不需要修改大模型服务的基础架构，具有更好的便捷性。
-
公开(公告)号：CN118095359B
公开(公告)日：2024-10-15
申请号：CN202410506249.3
申请日：2024-04-25
申请人： 蚂蚁科技集团股份有限公司
IPC分类号： G06N3/0455 , G06N3/08 , G06F21/62 , G06F40/157 , G06F40/284
摘要： 本说明书实施例公开了一种用于隐私保护的大语言模型训练方法及装置、介质、设备，涉及人工智能技术领域。首先，通过获取训练数据，并将训练数据输入到待训练的大语言模型中，以确定训练数据对应的原始梯度，然后对原始梯度进行加固转换，得到加固梯度，进而可以通过加固梯度更新待训练的大语言模型对应的模型权重，得到训练好的大语言模型。本说明书实施例中的技术方案可以保证训练得到的大语言模型对隐私数据的理解能力不丢失，提升大语言模型的输出结果的准确性的同时，有效降低攻击者通过大语言模型的梯度还原出原始数据的可能性，提高大语言模型中隐私数据的安全性。
-
公开(公告)号：CN118569392A
公开(公告)日：2024-08-30
申请号：CN202410993517.9
申请日：2024-07-23
申请人： 蚂蚁科技集团股份有限公司
IPC分类号： G06N5/045 , G06F40/166 , G06F40/284
摘要： 本说明书实施例公开了一种用于解释模型的方法、装置、存储介质及电子设备，获得第一文本数据对应的遮掩后的第二文本数据，根据第二文本数据、第二预测结果及待解释模型的模型标识信息构建第一提示词；将第一提示词输入编辑模型，获得编辑模型输出的第三文本数据，对第三文本数据进行评估获得对应的评估结果，在第一提示词基础上，根据第三文本数据及评估结果，生成最新的第一提示词，将最新的第一提示词输入编辑模型，获得编辑模型输出的最新的第三文本数据，以此类推，直至满足预设的结束迭代条件；在编辑模型输出的所有第三文本数据中确定目标第三文本数据，通过将目标第三文本数据与第一文本数据进行对比，获得待解释模型对应的解释信息。
-
公开(公告)号：CN118568775A
公开(公告)日：2024-08-30
申请号：CN202411025575.9
申请日：2024-07-29
申请人： 蚂蚁科技集团股份有限公司
IPC分类号： G06F21/62 , G06F18/214 , G06N3/045 , G06N3/0464 , G06N3/08
摘要： 本说明书实施例公开了一种隐私擦除模型的训练方法，该训练方法采用完全相同的训练方法，将大模型分别在原始训练数据和原始训练数据的脱敏数据上进行训练，并记录同一个大模型在原始训练数据上的权重和脱敏数据上的权重，从而形成新的擦除数据训练集。利用该擦除数据训练集即可训练一个隐私擦除模型，来擦除大模型中与隐私数据相关的权重数据。该方法通过训练隐私擦除模型来直接修改大模型的参数，从根本上删除大模型记忆中的隐私数据，具有极高的安全性。该方法也不需要对大模型进行重新训练，大大降低了大模型的优化成本。本说明书实施例所述的隐私擦除模型的训练装置、隐私擦除方法及装置同样具有上述效果。
-
-
-
-
-
-
-
-
-
搜索结果
30 条记录 (耗时 0.04 秒)
