基于高效微调和联邦学习的行业大模型训练方法及系统

    公开(公告)号:CN118982074A

    公开(公告)日:2024-11-19

    申请号:CN202411463393.X

    申请日:2024-10-21

    Abstract: 本发明提出一种基于高效微调和联邦学习的行业大模型训练方法及系统,涉及联邦学习领域。该方法由中心端执行,包括:获取原始全局模型,初始化可调低秩矩阵;所述可调低秩矩阵用于根据客户端资源量进行秩缩放;将模型结构和可调低秩矩阵发送给各客户端,以使各客户端基于本地数据对可调低秩矩阵进行微调训练,得到更新的可调低秩矩阵,并发送至中心端;将更新的可调低秩矩阵进行聚合,更新原始全局模型的权重文件,得到优化的全局模型。本发明客户端在微调训练时对预训练权重进行量化,并对具有秩缩放功能的可调低秩矩阵进行微调训练,以提取客户端本地数据有效特征,实现了模型参数的灵活调整与资源的高效利用。

    基于SIFT特征点的自适应容量图像盲水印嵌入与提取方法

    公开(公告)号:CN109410115B

    公开(公告)日:2023-04-18

    申请号:CN201811284175.4

    申请日:2018-10-31

    Abstract: 本发明的基于SIFT特征点的自适应容量图像盲水印嵌入与提取方法,在水印嵌入过程中,利用两个二值伪随机序列k1、k2,在不含有SIFT特征点的图像子块的离散余弦变换系数中嵌入水印;在水印的提取过程中,计算不含有SIFT特征点的图像子块的离散余弦变换系数与序列k1、k2的相关系数,并根据相关系数的大小确定出水印相应位的值,以提取水印。本发明的水印嵌入与提取方法,具有较强的鲁棒性,即使图像在遭受诸如中值滤波、维纳滤波、高斯滤波、剪切或压缩等攻击后,仍旧可以提取出与原始水印相似度极高的水印,使其可应用在数字媒体发布、数字信息版权认证、数字司法取证等场景。

Patent Agency Ranking