公开(公告)号：CN118193995A

公开(公告)日：2024-06-14

申请号：CN202410323557.2

申请日：2024-03-20

Applicant: 中国科学院计算技术研究所

Inventor： 曹婍 ,  刘元浩 ,  沈华伟 ,  张凯科 ,  伍云帆 ,  程学旗

IPC: G06F18/21 ,  G06F18/22 ,  G06F18/241 ,  G06Q30/0601 ,  G06F16/532 ,  G06F16/583 ,  G06F16/9532 ,  G06N3/0499 ,  G06N3/084

Abstract: 本发明提出一种人工智能模型的个体公平性度量方法，包括：根据人工智能模型的数据的输入数据范围，构建人工智能模型的输入样本集合；从输入样本集合中选择样本构成样本对，计算样本对中两样本间的样本相似性，将样本对中样本分别输入人工智能模型，得到样本对经过人工智能模型处理的结果对，计算结果对中结果间的结果相似性，判断结果相似性和样本相似性的差异绝对值是否低于阈值，若是则为样本对分配代表公平对待的公平性度量结果，否则为样本对分配代表不公平对待的公平性度量结果；重复多次公平性确定步骤，得到公平性报告，公平性报告包含多个样本对及各样本对的公平性度量结果。本发明可揭示和证明人工智能模型算法中存在的个体不公平现象。

公开(公告)号：CN116664226A

公开(公告)日：2023-08-29

申请号：CN202310504694.1

申请日：2023-05-06

Applicant: 中国科学院计算技术研究所

Inventor： 曹婍 ,  刘元浩 ,  沈华伟 ,  伍云帆 ,  陶舒畅 ,  程学旗

IPC: G06Q30/0601 ,  G06F16/9536 ,  G06F16/9535 ,  G06F18/214 ,  G06N7/01 ,  G06N3/094

Abstract: 本发明提供一种推荐系统流行度去偏方法和系统、存储介质，包括：数据集处理步骤，对商品i的交互记录进行随机采样划分，得到所述的训练集验证集和测试集推荐模型预训练步骤，使用该训练集预训练基于协同过滤模型的推荐模型，预训练选用协同过滤推荐系统常用的训练损失函数；推荐模型去偏训练步骤，对预训练完成的推荐模型，使用去偏损失函数完成去偏训练；推荐步骤，对于系统中的任意用户，模型预测该用户对系统中全部商品的偏好分数，并在该用户未交互过的商品中选择预测的偏好分数最高的若干个商品，作为给该用户的推荐结果。

公开(公告)号：CN117668857A

公开(公告)日：2024-03-08

申请号：CN202311675503.4

申请日：2023-12-07

Applicant: 中国科学院计算技术研究所

Inventor： 曹婍 ,  伍云帆 ,  沈华伟 ,  陶舒畅 ,  孙飞 ,  程学旗

IPC: G06F21/57 ,  G06F18/22 ,  G06F18/214

Abstract: 本发明提出一种基于模拟数据投毒攻击的推荐系统安全性测试方法和系统。通过梯度传递技术可以加速替代推荐系统的训练过程，以在有限时间内得到更准确的替代模型。梯度传递技术可以增强现有模拟攻击样本的准确性。通过加速替代模型训练得到更准确的替代模型，可以从替代模型中获得更好的优化指导，从而增强现有模拟攻击样本的准确性。梯度传递可以广泛增强基于替代系统的攻击方法，包括大部分现有的推荐系统模拟投毒攻击，这为后续的研发提供了基础。同时，也可以帮助发现了推荐系统的弱点，为设计更可靠的防御方法提供启示。