一种掩码变形方法及其掩码形变网络的训练方法

    公开(公告)号:CN115424110A

    公开(公告)日:2022-12-02

    申请号:CN202210991817.4

    申请日:2022-08-17

    Abstract: 本发明涉及图像处理领域,具体涉及一种掩码变形方法,其能在仅知晓目标域标签信息的前提下,实现域之间的实例形变,且能够使得实例和掩码信息保持一致,其首先获得源域掩码的整体特征,然后将源域的各实例掩码分别与整体特征进行融合,获得各实例掩码特征;然后,再将目标域标签信息的特征编码分别嵌入各实例掩码特征;最后,通过生成器输出目标域生成掩码,作为对应目标域的实例掩码。同时,提供了一种掩码变形方法的掩码形变网络的训练方法,其以目标域真实掩码和通过上述掩码形变网络生成的掩码构成正负样本对,进行生成对抗网络训练,提出了一种有效且高效的训练范式。

    一种可形变实例级图像翻译方法
    2.
    发明公开

    公开(公告)号:CN115424109A

    公开(公告)日:2022-12-02

    申请号:CN202210987590.6

    申请日:2022-08-17

    Abstract: 本发明涉及图像处理领域,具体涉及一种可形变实例级图像翻译方法,其解决了现有技术中,域之间差距过大而导致的实例难以形变、实例无法和掩码信息保持一致的问题。其将前景的边缘信息、背景掩码信息和目标域标签信息的特征编码进行融合,获得混合掩码;然后,将背景特征和混合掩码,输入生成器,生成器的解码网络将输入的背景特征进行解码,同时从混合掩码提取附加信息,并将提取的附加信息作用于归一化后的解码输出上,通过附加信息对归一化后的解码输出进行仿射变换,从而获得了包括对应目标域掩码的前景信息和指示前景位置的位置信息的融合信息;最终,利用位置信息将生成的前景信息和源域背景图像进行融合,输出保留源域背景的目标域图片。

    基于个体模型生成的人体姿态识别方法

    公开(公告)号:CN113221824B

    公开(公告)日:2022-05-24

    申请号:CN202110599861.6

    申请日:2021-05-31

    Abstract: 本发明公开了一种基于个体模型生成的人体姿态识别方法,首先从待识别图像中获取输入图片,并采用视觉特征提取器通过卷积编码的方式生成输入图片对应的视觉特征;再采用全局语义感知网络通过线性回归的方式从视觉特征中解析得到人体区域特征图;然后采用实例级别的姿态解析模型生成器针对每个人体生成用于解析人体姿态的模型参数图;最后根据人体区域特征图和模型参数图动态解析图像中的人体姿态,得到人体姿态识别结果。本发明针对图像中出现的人体动态地生成对应的估计参数,能够更好地解决现实场景中人体姿态丰富和人体间差异大的问题。

    基于个体模型生成的人体姿态识别方法

    公开(公告)号:CN113221824A

    公开(公告)日:2021-08-06

    申请号:CN202110599861.6

    申请日:2021-05-31

    Abstract: 本发明公开了一种基于个体模型生成的人体姿态识别方法,首先从待识别图像中获取输入图片,并采用视觉特征提取器通过卷积编码的方式生成输入图片对应的视觉特征;再采用全局语义感知网络通过线性回归的方式从视觉特征中解析得到人体区域特征图;然后采用实例级别的姿态解析模型生成器针对每个人体生成用于解析人体姿态的模型参数图;最后根据人体区域特征图和模型参数图动态解析图像中的人体姿态,得到人体姿态识别结果。本发明针对图像中出现的人体动态地生成对应的估计参数,能够更好地解决现实场景中人体姿态丰富和人体间差异大的问题。

    基于多模态大模型灵活关联控制的图像问答方法

    公开(公告)号:CN119992424A

    公开(公告)日:2025-05-13

    申请号:CN202510201200.1

    申请日:2025-02-24

    Abstract: 本发明公开了一种基于多模态大模型灵活关联控制的图像问答方法,首先生成图像和对应文字描述的非关联性特征表示,然后生成图像和定制提示的关联性特征表示,计算每层非关联性特征表示和关联性特征表示的余弦距离,并根据余弦距离筛选得到关键层,对于每个关键层,通过其非关联性特征表示和关联性特征表示计算关联控制向量,在进行图像问答时,在关键层中应用对应的关联控制向量对生成特征表示进行关联控制,从而实现对多模态大模型的创造力和幻觉水平的动态控制。本发明采用灵活关联控制策略,无需额外训练就能高效地动态调节多模态大模型的关联能力,从而解决图像问答任务中的模型幻觉问题,显著增强了图像问答的准确性和创造性。

    基于通用潜在感染的对抗样本制备方法

    公开(公告)号:CN119068286A

    公开(公告)日:2024-12-03

    申请号:CN202411105388.1

    申请日:2024-08-13

    Abstract: 本发明公开了一种基于通用潜在感染的对抗样本制备方法,首先获取干净样本集和目标样本集,将目标样本集所包含的类别划分为已知类别和未知类别,将属于已知类别集合的目标样本构成目标样本集,构建包括特征提取器,尺寸匹配模块和生成器的对抗样本生成模型,该模型通过对目标样本提取特征并进行尺寸匹配后叠加至生成器对应的感染层输入,从而对干净样本进行感染生成对抗样本;采用训练样本集对对抗样本生成模型进行训练,然后对于干净样本集中每个干净样本,任意选择一个与其类别不同的目标样本一起输入训练好的对抗样本生成模型生成对抗样本。本发明所构建的对抗样本生成模型支持基于任何目标样本生成对抗样本,从而提高对抗样本生成的通用性。

    针对目标检测模型的对抗训练方法

    公开(公告)号:CN118966314A

    公开(公告)日:2024-11-15

    申请号:CN202411119125.6

    申请日:2024-08-15

    Abstract: 本发明公开了一种针对目标检测模型的对抗训练方法,首先收集干净样本构成训练样本集将目标检测模型初步训练到收敛,然后依次生成置信度任务对抗样本集、分类任务对抗样本集和定位任务对抗样本集,并分别采用各个对抗样本集对目标检测模型进行对抗训练,在对抗训练时计算损失函数对目标检测模型中各个参数的梯度敏感度,将高梯度敏感度的参数进行更新,其他参数则不更新,循环以上过程进行对抗训练直到达到对抗训练结束条件。本发明通过拆分对抗训练任务并生成不同对抗样本进行参数更新,从而减轻不同任务之间的梯度冲突,在不增加网络容量的情况下,平衡目标检测模型在对抗样本上的鲁棒性和在干净样本上的准确率。

    基于解耦再融合控制的故事分镜生成方法

    公开(公告)号:CN118262003A

    公开(公告)日:2024-06-28

    申请号:CN202410479956.8

    申请日:2024-04-19

    Abstract: 本发明公开了一种基于解耦再融合控制的故事分镜生成方法,首先对故事文本进行处理,得到角色和场景的文字提示,根据角色和场景的预设参考图像对预训练好的稳定扩散模型进行微调,得到每个场景或角色所对应的模型参数和对应的嵌入向量,然后生成每个句子中的角色图像和场景图像,以及角色中间图像和场景中间图像,从角色图像中提取出前景掩码图像并据此将角色和场景中间图像进行融合得到融合图像,然后采用角色和场景所对应稳定扩散模型的参数对后续去噪过程进行协同控制,将最终生成图像作为句子所对应的故事分镜图像。本发明综合考虑角色的视觉一致性和场景的上下文相关性,从而提升所生成分镜图像之间的逻辑连贯性。

Patent Agency Ranking