一种基于大型语言模型的文生图模型动态评估方法及装置

    公开(公告)号:CN118377928A

    公开(公告)日:2024-07-23

    申请号:CN202410501754.9

    申请日:2024-04-25

    Abstract: 本发明提出一种基于大型语言模型的文生图模型动态评估方法,包括:LLM根据所选的主题生成测试输入文本,待评估的文生图模型根据测试输入文本生成测试图片,记录测试图片生成的准确率,并判断准确率是否低于阈值,若是则执行文本调整步骤;调整测试输入文本,得到多个调整输入文本,文生图模型根据测试输入文本生成调整图片,将准确率低于阈值的调整图片对应的调整输入文本作为失败文本;LLM根据当前主题下所有测试输入文本和调整输入文本的图片生成的准确率,分析文生图模型的对错原因,LLM分析对错原因和当前主题,生成新的主题,再次执行文本生成步骤,直到达到用户需求,保存当前所有失败文本作为文生图模型的评估结果。

    一种基于记忆存储的持续对抗防御方法及系统

    公开(公告)号:CN117592547A

    公开(公告)日:2024-02-23

    申请号:CN202311575231.0

    申请日:2023-11-23

    Abstract: 本发明提出一种基于记忆存储的持续对抗防御方法,包括:获取持续学习模型的分类器的类别;对该持续学习模型的记忆训练数据和当前任务的当前训练数据生成对抗样本,将该对抗样本输入该持续学习模型,进行持续对抗训练;并在该持续对抗训练中,对该对抗样本的类别logit值以校正值进行校正;以完成训练后的持续学习模型执行该当前任务。本发明还提出一种基于记忆存储的持续对抗防御系统,以及一种用于实现基于记忆存储的持续对抗防御的数据处理装置。

    基于人脸时序信息的人脸视频深度伪造检测方法与装置

    公开(公告)号:CN117275064A

    公开(公告)日:2023-12-22

    申请号:CN202311211903.X

    申请日:2023-09-19

    Inventor: 唐胜 王志浩 曹娟

    Abstract: 本发明提出一种基于人脸时序信息的人脸视频深度伪造检测方法和装置,包括:获取以标准真伪标签的人脸视频作为训练数据;通过基础网络对训练数据中多个视频帧提取特征,得到原始特征,以原始特征进行三维人脸重建,得到重建图像;基础网络对重建图像提取特征,得到重建特征;特征差分模块对原始特征以及重建图进行差分并对差分结果进行降维,得到差分特征;将重建特征和差分特征作为查询特征,并将原始特征作为待查询特征,分别输入查询模块,根据查询特征与待查询特征的相似度,对待查询特征的重新加权,得到加权差分特征和加权重建特征;自适应融合模块将原始特征、加权差分特征和加权重建特征加权融合后进行真伪分类。

    基于三维信息时序一致性的人脸深度伪造检测方法及系统

    公开(公告)号:CN117275063A

    公开(公告)日:2023-12-22

    申请号:CN202311211893.X

    申请日:2023-09-19

    Inventor: 唐胜 王志浩 曹娟

    Abstract: 本发明提出一种基于三维信息时序一致性的人脸深度伪造检测方法,包括:构建包括特征提取器、差分模型、分类层和人脸重建模型的三维时间差分模型;特征提取器提取训练视频中具有人脸的每一帧图像的面部特征,人脸重建模型根据面部特征重建人脸图像,得到单帧图像的重建图像,时间差分模型根据相邻帧在面部相关特征上的差异作为时序特征,分类层根据时序特征进行分类,根据分类结果和伪造标签构建损失函数,以训练三维时间差分模型中的分类层;训练完成后的三维时间差分模型用于执行人脸伪造检测任务。由于提取三维特征的网络参数固定,因此本发明具有可学习参数较少的特点。且本方法在具有较高检测精度的同时还能保证具有较好的抗压缩能力。

    基于量化技术的图像深伪检测加速方法及系统

    公开(公告)号:CN115719520A

    公开(公告)日:2023-02-28

    申请号:CN202211387390.3

    申请日:2022-11-07

    Abstract: 本发明提出一种基于量化技术的图像深伪检测加速方法和系统,包括:获取已标记深伪检测结果的训练视频,从训练视频中抽取伪造检测的关键帧,对关键帧进行压缩并去除冗余信息后提取保留伪造检测关键维度的帧特征;基于帧特征,利用人脸识别算法,定位关键帧中人脸位置信息,基于人脸位置信息、帧特征和已标记深伪检测结果,训练得到初始检测模型;对初始检测模型的权重、激活值进行量化转换,并验证推理速度和精度损失间的平衡,将量化转换后的初始检测模型作为中间模型;对中间模型进行微调或重训练,得到最终的深度伪造检测模型;将待深度伪造检测的视频输入深度伪造检测模型,得到其是否属于伪造视频的检测结果。

    一种基于涂鸦的弱监督语义分割方法与系统

    公开(公告)号:CN110443818B

    公开(公告)日:2021-09-07

    申请号:CN201910588880.1

    申请日:2019-07-02

    Inventor: 唐胜 王斌 张勇东

    Abstract: 本发明提出一种基于涂鸦的弱监督语义分割方法与系统,包括:获取多张训练图片,训练图片均对应有涂鸦标记和边缘图;选取训练图片作为当前图片,将当前图片输入至语义分割网络,得到当前图片的高层语义特征;将高层语义特征输入至预测修正网络,得到当前图片的分割结果图,并根据当前图片的涂鸦标记,得到当前图片中涂鸦标记区域的交叉熵损失;将高层语义特征输入至边界回归网络,得到当前图片中目标的边界图,并根据当前图片的边缘图,得到边界图中边界区域的均值方差损失;构建总损失函数,并判断总损失函数是否收敛,若是,则将当前预测修正网络作为语义分割模型;将待语义分割的图片输入至语义分割模型,得到待语义分割的图片的分割结果图。

    基于克罗内克卷积的场景分割方法和系统

    公开(公告)号:CN109670506B

    公开(公告)日:2021-04-06

    申请号:CN201811309245.7

    申请日:2018-11-05

    Abstract: 本发明涉及一种基于克罗内克卷积的场景分割方法,包括:构建具有残差结构的克罗内克卷积层;以该克罗内克卷积层和标准卷积层构建特征提取子网络,以原始图像为输入,通过该特征提取子网络输出抽象特征图;以该克罗内克卷积层构建树形特征聚合模块,以该抽象特征图为输入,通过该树形特征聚合模块输出聚合特征图;以该聚合特征图为输入,通过该场景分割子网络输出该原始图像的场景分割结果。

    融合局部信息的场景分割修正方法与系统

    公开(公告)号:CN107564013B

    公开(公告)日:2020-06-26

    申请号:CN201710650541.2

    申请日:2017-08-02

    Inventor: 唐胜 张蕊 李锦涛

    Abstract: 本发明涉及一种场景分割修正方法,通过局部边界修正网络,以完全残差卷积网络作为前端模型,将该前端模型的置信度图和原始图像按通道拼接起来,作为该局部边界修正网络的输入,从而输出该置信度图所有位置的局部聚合系数,将该局部聚合系数与该置信度图的对应位置相乘,聚合到中心点,得到场景分割的局部边界修正结果;使用已知的场景分割数据集对该局部边界修正网络进行训练。同时本发明还提出了将全局残差修正网络和该局部边界修正网络串联起来,形成级联的框架,该级联的框架可以对前端模型的分割结果进行全局修正和局部修正,从而得到更加精确的场景分割修正结果。

    基于克罗内克卷积的场景分割方法和系统

    公开(公告)号:CN109670506A

    公开(公告)日:2019-04-23

    申请号:CN201811309245.7

    申请日:2018-11-05

    Abstract: 本发明涉及一种基于克罗内克卷积的场景分割方法,包括:构建具有残差结构的克罗内克卷积层;以该克罗内克卷积层和标准卷积层构建特征提取子网络,以原始图像为输入,通过该特征提取子网络输出抽象特征图;以该克罗内克卷积层构建树形特征聚合模块,以该抽象特征图为输入,通过该树形特征聚合模块输出聚合特征图;以该聚合特征图为输入,通过该场景分割子网络输出该原始图像的场景分割结果。

Patent Agency Ranking