-
公开(公告)号:CN115424110A
公开(公告)日:2022-12-02
申请号:CN202210991817.4
申请日:2022-08-17
Abstract: 本发明涉及图像处理领域,具体涉及一种掩码变形方法,其能在仅知晓目标域标签信息的前提下,实现域之间的实例形变,且能够使得实例和掩码信息保持一致,其首先获得源域掩码的整体特征,然后将源域的各实例掩码分别与整体特征进行融合,获得各实例掩码特征;然后,再将目标域标签信息的特征编码分别嵌入各实例掩码特征;最后,通过生成器输出目标域生成掩码,作为对应目标域的实例掩码。同时,提供了一种掩码变形方法的掩码形变网络的训练方法,其以目标域真实掩码和通过上述掩码形变网络生成的掩码构成正负样本对,进行生成对抗网络训练,提出了一种有效且高效的训练范式。
-
公开(公告)号:CN115424109A
公开(公告)日:2022-12-02
申请号:CN202210987590.6
申请日:2022-08-17
Abstract: 本发明涉及图像处理领域,具体涉及一种可形变实例级图像翻译方法,其解决了现有技术中,域之间差距过大而导致的实例难以形变、实例无法和掩码信息保持一致的问题。其将前景的边缘信息、背景掩码信息和目标域标签信息的特征编码进行融合,获得混合掩码;然后,将背景特征和混合掩码,输入生成器,生成器的解码网络将输入的背景特征进行解码,同时从混合掩码提取附加信息,并将提取的附加信息作用于归一化后的解码输出上,通过附加信息对归一化后的解码输出进行仿射变换,从而获得了包括对应目标域掩码的前景信息和指示前景位置的位置信息的融合信息;最终,利用位置信息将生成的前景信息和源域背景图像进行融合,输出保留源域背景的目标域图片。
-
公开(公告)号:CN113221824B
公开(公告)日:2022-05-24
申请号:CN202110599861.6
申请日:2021-05-31
Applicant: 之江实验室
Abstract: 本发明公开了一种基于个体模型生成的人体姿态识别方法,首先从待识别图像中获取输入图片,并采用视觉特征提取器通过卷积编码的方式生成输入图片对应的视觉特征;再采用全局语义感知网络通过线性回归的方式从视觉特征中解析得到人体区域特征图;然后采用实例级别的姿态解析模型生成器针对每个人体生成用于解析人体姿态的模型参数图;最后根据人体区域特征图和模型参数图动态解析图像中的人体姿态,得到人体姿态识别结果。本发明针对图像中出现的人体动态地生成对应的估计参数,能够更好地解决现实场景中人体姿态丰富和人体间差异大的问题。
-
公开(公告)号:CN113221824A
公开(公告)日:2021-08-06
申请号:CN202110599861.6
申请日:2021-05-31
Applicant: 之江实验室
Abstract: 本发明公开了一种基于个体模型生成的人体姿态识别方法,首先从待识别图像中获取输入图片,并采用视觉特征提取器通过卷积编码的方式生成输入图片对应的视觉特征;再采用全局语义感知网络通过线性回归的方式从视觉特征中解析得到人体区域特征图;然后采用实例级别的姿态解析模型生成器针对每个人体生成用于解析人体姿态的模型参数图;最后根据人体区域特征图和模型参数图动态解析图像中的人体姿态,得到人体姿态识别结果。本发明针对图像中出现的人体动态地生成对应的估计参数,能够更好地解决现实场景中人体姿态丰富和人体间差异大的问题。
-
公开(公告)号:CN119992424A
公开(公告)日:2025-05-13
申请号:CN202510201200.1
申请日:2025-02-24
Applicant: 电子科技大学
IPC: G06V20/40 , G06V10/82 , G06N3/0455 , G06N3/08 , G06N5/04
Abstract: 本发明公开了一种基于多模态大模型灵活关联控制的图像问答方法,首先生成图像和对应文字描述的非关联性特征表示,然后生成图像和定制提示的关联性特征表示,计算每层非关联性特征表示和关联性特征表示的余弦距离,并根据余弦距离筛选得到关键层,对于每个关键层,通过其非关联性特征表示和关联性特征表示计算关联控制向量,在进行图像问答时,在关键层中应用对应的关联控制向量对生成特征表示进行关联控制,从而实现对多模态大模型的创造力和幻觉水平的动态控制。本发明采用灵活关联控制策略,无需额外训练就能高效地动态调节多模态大模型的关联能力,从而解决图像问答任务中的模型幻觉问题,显著增强了图像问答的准确性和创造性。
-
公开(公告)号:CN119068286A
公开(公告)日:2024-12-03
申请号:CN202411105388.1
申请日:2024-08-13
Applicant: 电子科技大学(深圳)高等研究院
IPC: G06V10/774 , G06V10/764 , G06V10/75 , G06V10/82 , G06N3/094
Abstract: 本发明公开了一种基于通用潜在感染的对抗样本制备方法,首先获取干净样本集和目标样本集,将目标样本集所包含的类别划分为已知类别和未知类别,将属于已知类别集合的目标样本构成目标样本集,构建包括特征提取器,尺寸匹配模块和生成器的对抗样本生成模型,该模型通过对目标样本提取特征并进行尺寸匹配后叠加至生成器对应的感染层输入,从而对干净样本进行感染生成对抗样本;采用训练样本集对对抗样本生成模型进行训练,然后对于干净样本集中每个干净样本,任意选择一个与其类别不同的目标样本一起输入训练好的对抗样本生成模型生成对抗样本。本发明所构建的对抗样本生成模型支持基于任何目标样本生成对抗样本,从而提高对抗样本生成的通用性。
-
公开(公告)号:CN118966314A
公开(公告)日:2024-11-15
申请号:CN202411119125.6
申请日:2024-08-15
Applicant: 电子科技大学(深圳)高等研究院
IPC: G06N3/094 , G06V10/82 , G06V10/25 , G06V10/774 , G06V10/764 , G06N3/084
Abstract: 本发明公开了一种针对目标检测模型的对抗训练方法,首先收集干净样本构成训练样本集将目标检测模型初步训练到收敛,然后依次生成置信度任务对抗样本集、分类任务对抗样本集和定位任务对抗样本集,并分别采用各个对抗样本集对目标检测模型进行对抗训练,在对抗训练时计算损失函数对目标检测模型中各个参数的梯度敏感度,将高梯度敏感度的参数进行更新,其他参数则不更新,循环以上过程进行对抗训练直到达到对抗训练结束条件。本发明通过拆分对抗训练任务并生成不同对抗样本进行参数更新,从而减轻不同任务之间的梯度冲突,在不增加网络容量的情况下,平衡目标检测模型在对抗样本上的鲁棒性和在干净样本上的准确率。
-
公开(公告)号:CN118262003A
公开(公告)日:2024-06-28
申请号:CN202410479956.8
申请日:2024-04-19
Applicant: 电子科技大学
IPC: G06T11/00 , G06F40/289 , G06F40/253 , G06F40/166 , G06T7/194
Abstract: 本发明公开了一种基于解耦再融合控制的故事分镜生成方法,首先对故事文本进行处理,得到角色和场景的文字提示,根据角色和场景的预设参考图像对预训练好的稳定扩散模型进行微调,得到每个场景或角色所对应的模型参数和对应的嵌入向量,然后生成每个句子中的角色图像和场景图像,以及角色中间图像和场景中间图像,从角色图像中提取出前景掩码图像并据此将角色和场景中间图像进行融合得到融合图像,然后采用角色和场景所对应稳定扩散模型的参数对后续去噪过程进行协同控制,将最终生成图像作为句子所对应的故事分镜图像。本发明综合考虑角色的视觉一致性和场景的上下文相关性,从而提升所生成分镜图像之间的逻辑连贯性。
-
公开(公告)号:CN117237295A
公开(公告)日:2023-12-15
申请号:CN202311186007.2
申请日:2023-09-14
Applicant: 电子科技大学
Abstract: 本发明公开了一种基于医学图像分割的神经退行性疾病筛查方法,首先对原始脑部MRI影像进行预处理,统一到标准模板空间内,并找到最大横断面截面,用于训练图像分割模型;然后在小样本病例下,通过图像分割模型实现了对脑部MRI影像的精准分割,进而完成不同指标的神经退行性疾病筛查。
-
公开(公告)号:CN113744872B
公开(公告)日:2023-08-08
申请号:CN202111106419.1
申请日:2021-09-22
Applicant: 四川省医学科学院·四川省人民医院 , 电子科技大学
Abstract: 本发明公开了一种智能交互的阿尔兹海默症辅助筛查系统,涉及语音识别、图像处理技术领域,包括基于语音识别的可交互单元测试模块和基于事实的智能分析模块,单元测试模块用与交互式地收集MoCA测试数据,包括1)视空间和执行功能测试模块、2)语言和抽象功能测试模块以及3)记忆和定向功能测试模块;智能分析模块用于智能地处理和分析多模态数据,包括1)语音识别模块、2)手绘图识别模块和3)决策模块。采用本发明的技术方案集成了MoCA测试项目,大大简化了测试流程,并且统一、系统和完备的测试标准,确保了筛查结果的可靠性、真实性。
-
-
-
-
-
-
-
-
-