一种基于泛函映射的多模态图像分割方法

    公开(公告)号:CN104778683A

    公开(公告)日:2015-07-15

    申请号:CN201510040592.4

    申请日:2015-01-27

    Abstract: 本发明涉及基于泛函映射的多模态图像分割方法。本发明对包含目标的图像集合做如下操作:1)将图像分割成超像素块,并用不同的特征描述子表征,获得多模态图像表示;2)在多模态图像上建立超像素图,构建相应的拉普拉斯矩阵;3)表征每幅图像的约减泛函空间,建立图像对之间的泛函映射;4)将每种模态的图像泛函映射与图像线索对齐,引入隐函数保持泛函映射之间的一致性;5)依据多模态映射一致性获得泛函映射表达,通过联合优化目标函数计算图像对应的分割函数,得到图像的最优分割表示。本发明能够利用图像不同模态的特征表示以及图像之间共有的目标潜在关联,准确判定图像的各目标区域块,增强了图像分割的性能和效果。

    基于层次k匿名身份替换的人脸生成隐私保护方法

    公开(公告)号:CN114139198B

    公开(公告)日:2025-05-23

    申请号:CN202111431904.6

    申请日:2021-11-29

    Inventor: 匡振中 陈超 俞俊

    Abstract: 本发明公开了一种基于层次k匿名身份替换的人脸生成隐私保护方法,首先进行人脸图像数据集预处理,然后构建层次k匿名生成对抗网络结构,构建层次k匿名的目标函数;再构建人脸替换生成对抗网络结构,构建人脸替换的目标函数;最后使用公开数据集进行训练及测试,得到训练好的层次k匿名生成对抗网络和人脸替换生成对抗网络。本发明替换的目标人脸也是通过网络生成的,从而不会侵犯他人的隐私,相对以往的马赛克遮挡的方法更有效并且视觉上更友好。通过实验结果显然证实了所提出方法的高效性与实用性,对人物图像的隐私保护更高效和美观。

    一种基于适配网络增强扩散模型的人体姿态场景恢复方法

    公开(公告)号:CN117392675B

    公开(公告)日:2025-04-22

    申请号:CN202311293866.1

    申请日:2023-10-09

    Abstract: 本发明公开了一种基于适配网络增强扩散模型的人体姿态场景恢复方法,属于计算机视觉的图像生成领域,该方法首先每一组训练用的数据表示为一个五元组(A(N),B(N),y,ZA,ZB),并用点阵A(N),B(N)分别制作灰度图A0,B0。其次由扩散模型得到扩散模型中主副适配器的差异,并根据差异计算出损失函数,并计算结余损失。最后根据损失函数和结余损失函数得到全局优化函数,对输出的人物姿态图进行优化。本发明消除了通过试探方法训练寻找损失函数间权值时所需的计算开销,实现了预训练模型功能细分的训练方式,使得输出的人物姿态图更为准确稳定。

    一种关键点差分隐私驱动的人脸图像隐私保护方法

    公开(公告)号:CN114169002B

    公开(公告)日:2025-04-04

    申请号:CN202111485366.9

    申请日:2021-12-07

    Abstract: 本发明公开了一种关键点差分隐私驱动的人脸图像隐私保护方法,首先进行数据预处理,构建关键点标识匿名空间;然后构建匿名人脸生成对抗网络结构,确定匿名人脸生成对抗网络优化目标函数;获得改进后的应用于匿名人脸关键点标识的差分隐私算法;最后通过预处理后的数据集,对匿名人脸生成对抗网络进行训练,输出最终结果。本方法对图像中人脸的面部关键点结构进行修改实现人脸身份匿名,取得了更好的数据可用性和视觉效果,在生成图像质量上更高,能够保持原本的非身份属性,且不需要使用任何属性标签。

    一种基于稠密流的虚拟试衣方法

    公开(公告)号:CN113538610B

    公开(公告)日:2024-07-02

    申请号:CN202110686459.1

    申请日:2021-06-21

    Inventor: 顾晓玲 王涛 俞俊

    Abstract: 本发明公开了一种基于稠密流的虚拟试衣方法。本发明主要涉及利用深层神经网络生成目标语义分割图,并通过语义分割图利用可变形卷积神经网络预测稠密流,用于对源服装的特征信息进行空间形变并与目标人体信息融合得到服装转换的结果。本发明包括如下步骤:步骤(1)、生成目标语义分割图;步骤(2)、计算稠密流;步骤(3)、对人体信息和源服装信息进行融合得到最后的结果。本发明不需要服装的原始产品图,而是一张模特图,同时也能完成同一件服装在不同人物身上以不同视角的呈现,生成的结果纹理清晰,转换自然,目前获得了在该领域最好的效果。

    一种基于节点注意力的半监督节点分类方法

    公开(公告)号:CN113159160B

    公开(公告)日:2024-06-25

    申请号:CN202110412835.8

    申请日:2021-04-16

    Abstract: 本发明公开了一种基于节点注意力的半监督节点分类方法。本发明步骤如下:步骤(1)数据预处理;步骤(2)特征提取,先经过1‑2层的图卷积网络提取节点特征,作为后序操作的数据准备;步骤(3)节点自适应调整:首先对每个节点平均聚合其一阶邻居的特征,再将节点自身的特征信息和平均聚合后的特征拼接起来,获得所需局部表征;然后把提取出来的局部表征送入一个单层的全连接网络,并将全连接网络的输出结果和步骤(2)得到的节点特征输入门控单元进行特征融合;步骤(4)分类预测以及准确率度量。本发明可对每个节点自适应调整,而且在空间复杂度上较比于图注意力网络有明显的优势,性能也和图注意力网络相当。

    一种用于改善遮挡问题的循环外观流虚拟试衣方法

    公开(公告)号:CN117670695A

    公开(公告)日:2024-03-08

    申请号:CN202311366008.5

    申请日:2023-10-20

    Abstract: 本发明公开了一种用于改善遮挡问题的循环外观流虚拟试衣方法,包括如下步骤:S1、收集时尚图像数据并预处理,构建语义信息数据组,所述语义信息数据组包括人物图像、姿态信息、语义信息、时尚衣物单品图像;S2、构建包含循环外观流形变模型和多掩码图像融合模型的两阶段虚拟试衣模型,并初始化网络权重;S3、利用反向传播算法学习模型参数,直至网络收敛;S4、输出模型,该方法改善现有的问题,基于循环优化外观流和多掩码图像融合模型,生成逼真的虚拟试衣图像。

    基于扩散先验修复的牙体结构化实例分割方法

    公开(公告)号:CN117576396A

    公开(公告)日:2024-02-20

    申请号:CN202311576849.9

    申请日:2023-11-24

    Abstract: 本发明公开了基于扩散先验修复的牙体结构化实例分割方法,首先获取由口腔全景片结构注释的初步数据集TSD。其次对初步数据集进行中心裁剪,根据注释分割牙体实例,获取全景图内所有牙体实例的结构化标注结果得到数据集TPSD。然后定义牙体实例结构化分割网络DSIS,将TSD数据集输入该网络中进行牙体实例分割,并得到牙体结构化分割结果,并输入构建的异常检测模块ADM,获取融合的异常结构掩码。最后使用TPSD数据集训练构建的扩散先验牙体结构修复网络DPR,修复结构化分割结果。本发明实现了在有填充材料或断牙等常见破坏牙体区域的情况下实现正常牙体结构的分割。

    一种基于时序特征金字塔的视频密集描述生成方法

    公开(公告)号:CN113392717B

    公开(公告)日:2024-02-13

    申请号:CN202110558847.1

    申请日:2021-05-21

    Inventor: 俞俊 余宙 韩男佳

    Abstract: 本发明公开了一种基于时序特征金字塔的视频密集描述方法。在变换网络模型框架下,对视频进行编码的同时利用局部注意力机制获取不同分辨率的特征,然后使用多个检测头对不同分辨率的特征进行检测,实现对不同持续时间的事件的全面覆盖。在检测出可能包含事件的时间片段之后,本发明进一步地利用特征融合方式对不同分辨率的视频特征进行融合,从而为事件生成更具针对性的描述。本发明方法相比于其他方法取得了更高的准确率和召回率,同时,描述生成解码器根据融合之后的特征也生成了更高质量的描述语句,这证明了该方法的普适通用性,可在其他多模态任务中充分发挥价值。

    一种基于金字塔结构的图注意力网络时序动作定位方法

    公开(公告)号:CN113255443B

    公开(公告)日:2024-02-09

    申请号:CN202110412867.8

    申请日:2021-04-16

    Inventor: 俞俊 杨津 朱素果

    Abstract: 本发明公开了一种基于金字塔结构的图注意力网络时序动作定位方法。本发明主要涉及利用图注意力网络搭建的多尺度金字塔模型融合预测多时间跨度的行为检测。本发明步骤:1、数据预处理,提取视频数据的初始时空特征,2、基于图注意力机制的金字塔网络模型,搭建带有时序注意力机制的多尺度模型,3、模型训练,利用反向传播算法训练神经网络参数。4、生成定位检测结果。本发明引入了金字塔结构来构造不同感受野的特征层,以解决行为在尺度上的预测问题。并引入了图注意力机制,在时序信息上加入了注意力模块,在特征中充分融合了时序上的内容;本发明在时序动作定位领域中的最好效果,相比于原始的单一特征图预测方法在性能上有了很大的提升。

Patent Agency Ranking