基于双向可切分深度自注意力网络的轻量化视觉问答方法

    公开(公告)号:CN114647752A

    公开(公告)日:2022-06-21

    申请号:CN202210369535.0

    申请日:2022-04-08

    Inventor: 余宙 金子添 俞俊

    Abstract: 本发明公开了一种基于双向可切分深度自注意力网络的轻量化视觉问答方法,提出了一种双向可切分深度自注意力网络,基于设计的宽度、深度均可切分的双向策略,并采用“深而窄”的过滤原则进一步挑选合理的子模型,配合提出的自蒸馏算法,使得网络中的各个子模型都具备视觉问答任务的应用能力。此双向可切分的深度自注意力模型可以根据当下的计算资源动态选择合适的子模型预测答案,取得精度和时延之间的平衡,在预测答案的准确率得到保证的同时使得用户拥有良好的体验感。

    一种可用性一致的差分隐私人体匿名合成方法

    公开(公告)号:CN114332945A

    公开(公告)日:2022-04-12

    申请号:CN202111670708.4

    申请日:2021-12-31

    Abstract: 本发明公开了一种可用性一致的差分隐私人体匿名合成方法。本发明特征在于将源人体数据集通过委派人体数据集与可用性保持姿势转换网络得到匿名人体数据集;具体步骤:步骤1:预处理;步骤2:分配委派身份;步骤3:构建可用性保持姿势转换网络;步骤4:训练约束;步骤5:模型训练及测试。本发明可以生成新的匿名人体图像,避免隐私数据被收集以及滥用,而且匿名图像可以保持原始数据的可用性。此外,本发明可以在不同的隐私级别下生成自然的图像,并保持人体隐私以及数据可用性。

    基于高效通道注意力机制的StackGAN++图像生成方法

    公开(公告)号:CN114299176A

    公开(公告)日:2022-04-08

    申请号:CN202111599844.9

    申请日:2021-12-24

    Abstract: 本发明提出一种基于高效通道注意力机制的StackGAN++图像生成方法。本发明在StackGAN++生成器的每一个残差块后都引入一个高效通道注意力模块,以此来构建一个能生成具有细节感和现实感的高分辨率图像的图像生成算法。本发明步骤如下:1.图像预处理;2.基于高效通道注意力机制的StackGAN++模型的图像生成;3.算法性能比较。本发明提出基于高效通道注意力机制的StackGAN++图像生成模型,并且有效提升了生成图像的清晰度和细节感。针对StackGAN++生成图像的细节和纹理方面不足的问题,通过往StackGAN++模型中引入高效通道注意力机制,增强对图像中细节的关注,提高生成局部纹理的能力。

    一种加入SE块的场景图生成图像方法

    公开(公告)号:CN114283218A

    公开(公告)日:2022-04-05

    申请号:CN202111597835.6

    申请日:2021-12-24

    Abstract: 本发明提出一种加入SE块的场景图生成图像方法。本发明针对Sg2im生成的图像模糊、缺少细节等问题,通过往Sg2im模型中加入SE块,增强对图像中细节的关注,提高场景图生成图像的质量。本发明的主要做法就是将SE块加入到Sg2im模型的级联细化网络部分。本发明包括以下步骤:1.数据预处理,2.加入SE块的Sg2im模型的图像生成,3.算法性能比较。本发明提出加入SE块的场景图生成图像算法,并且有效提升了生成图像的清晰度和细节感。

    一种基于回传机制的图卷积网络的节点分类方法

    公开(公告)号:CN114117139A

    公开(公告)日:2022-03-01

    申请号:CN202111431892.7

    申请日:2021-11-29

    Abstract: 本发明公开了一种基于回传机制的图卷积网络的节点分类方法,本发明提出的回传机制采用已经训练好的图卷积神经网络,根据节点类别分值与梯度信息,逐层保留带有正向贡献权重的神经元,并抑制带有负向权重的神经元,从而使得类别分值增大。通过自上而下地抑制神经元开闭程度,能够提升节点最终类别的置信度,明确节点的划分结果,提升图卷积神经网络模型的分类性能。在数学上,该机制能够收敛至局部最优。在多个数据集上的实验表明,回传机制能够有效提升图神经网络对节点最终的分类置信度,并修正部分错误分类结果,提升模型的分类性能。

    一种基于传递式视觉关系检测的视频描述生成方法

    公开(公告)号:CN114037936A

    公开(公告)日:2022-02-11

    申请号:CN202111314705.7

    申请日:2021-11-08

    Abstract: 本发明公开了一种基于传递式视觉关系检测的视频描述生成方法。尤其涉及一种检测视觉实体‑动作之间的浅层联系并传递构造深层视觉实体关系图以及依靠视觉实体关系图细化视频特征的建模方法。本发明包括以下步骤:1、数据预处理,对视频提取特征,针对文本描述构建字典。2、动作指导的浅层关系检测模块,进行浅层关系图的生成。3、传递式深层关系推理模块与解码器模块,用以深层关系图的推理。4、模型训练,利用反向传播算法训练神经网络参数。本发明提出检测视频视觉实体‑动作之间的浅层联系,以及传递构造深层视觉实体关系图以及依靠视觉实体关系图细化视频特征的建模方法,并且获得了目前在视频描述生成领域中的最好效果。

    基于高效通道注意力机制的龙格库塔模块去雨的方法

    公开(公告)号:CN113436101A

    公开(公告)日:2021-09-24

    申请号:CN202110718789.4

    申请日:2021-06-28

    Abstract: 本发明提出一种基于高效通道注意力机制的龙格库塔模块去雨的方法。本发明包括以下步骤:1.图像预处理;2.利用全局回传网络对图像高阶信息进再提取;3.基于高效通道注意力机制的龙格库塔模块的图像特征提取;4.利用负结构相似性计算输出图像与真实图像的损失值,利用该损失值进行梯度回传,进而优化网络性能。本发明通过堆叠多个基于高效通道注意力机制的龙格库塔模块,构建深度去雨模型,较好地特提取雨痕特征,并重构清晰的雨天背景图像。同时,为了获取的高阶特征能够改善低阶特征,采用全局回传机制,利用雨痕的高阶特征以更新其低阶特征,提高对雨痕表征的提取质量,逐步提升重建背景图的质量,并且获得了目前在单幅图像去雨的最好效果。

    一种基于协同注意力机制的肺结节分类方法

    公开(公告)号:CN110175979B

    公开(公告)日:2021-07-27

    申请号:CN201910276013.4

    申请日:2019-04-08

    Inventor: 俞俊 高飞 徐兴歆

    Abstract: 本发明公开了一种基于注意力机制的肺结节分类方法,其主要目标是对肺结节的良性恶性节点进行分类。本发明包括以下步骤:1、对数据集进行数据预处理;2、设计基于注意力机制的肺结节分类网络结构3、对最终的结果进行融合分类。本发明提出一种针对肺结节分类的模型,基于注意力机制提出的新方法。并且获得了目前在肺结节废了领域中的非常好的效果。本发明对低剂量的CT图,利用深度学习网络,通过融合注意力机制,进行肺结节的良性恶性节点的分类。对于计算机辅助诊断(CAD)系统,该算法嵌入到CAD中,可以起到辅助并增强放射科医师的工作的效果。

    一种基于超关系学习网络的场景图生成方法

    公开(公告)号:CN113065587A

    公开(公告)日:2021-07-02

    申请号:CN202110309285.7

    申请日:2021-03-23

    Abstract: 本发明公开了一种基于超关系学习的场景图生成方法。本发明包括以下步骤:1、通过目标自注意力网络加强目标交互,融合目标的特征。2、通过目标‑关系注意力网络加强目标和关系的交互,融合目标和关系之间的特征。3、通过超关系注意力网络去整合超关系的传递推理。4、模型训练,将目标损失函数和关系损失函数放入优化器,通过反向传播算法对网络参数进行梯度回传和更新。本发明提出一种针对场景图生成的深度神经网络,特别是提出一种超关系学习网络,充分利用目标和关系之间的交互和传递推理,提高了场景图生成中关系的推理能力,并且在场景图生成领域中的性能得到了很大的提升。

    一种基于人脸结构信息的肖像生成方法

    公开(公告)号:CN108596024B

    公开(公告)日:2021-05-04

    申请号:CN201810206139.X

    申请日:2018-03-13

    Inventor: 俞俊 施圣洁 高飞

    Abstract: 本发明公开了一种基于人脸结构信息的肖像生成方法。本发明包括以下步骤:1、对原始图像、目标图像和人脸结构信息进行数据预处理,2、在图像生成器输入端利用人脸结构信息模型,进行特征提取与融合。3、在图像生成器的损失函数部分使用基于人脸结构部件的组合损失函数。4、生成对抗网络,用生成器进行生成,用判别器进行差别。5、模型训练,利用反向传播算法训练神经网络参数。本发明提出一种针对从人脸照片到肖像生成的神经网络模型,特别是提出了在肖像生成器利用人脸部件的指导性信息进行肖像的生成以及利用部件信息计算各部件的损失来进行网络参数优化的方法,此方法获得了目前在人脸照片到肖像生成领域中的最好效果。

Patent Agency Ranking