一种基于双流门控卷积网络的人脸图像修复方法

    公开(公告)号:CN115272126A

    公开(公告)日:2022-11-01

    申请号:CN202210942055.9

    申请日:2022-08-08

    Abstract: 本发明属于图像修复技术领域,具体涉及一种基于双流门控卷积网络的人脸图像修复方法,包括以下步骤:特征生成,输入待修复的人脸图像,生成完整的结构特征和纹理特征;步骤200:特征重建,结构特征和纹理特征指导和约束彼此特征的重建;步骤300:通道级特征均衡,通过对通道之间的关系建模来增强结构特征和纹理特征之间的一致性,得到修复好的图像;步骤400:修复判别,生成器修复好的图像与真实图片输入至判别器进行判别,实现人脸图像修复;本发明所提出的方法在结构特征和纹理特征生成过程中,充分利用结构和纹理信息之间的关系完成彼此的指导和约束,此外,我们还引入了通道级特征均衡方法提升修复结果的整体一致性。

    一种基于双特征协作关系注意力网络的视觉问答方法

    公开(公告)号:CN116486405A

    公开(公告)日:2023-07-25

    申请号:CN202310212230.3

    申请日:2023-03-07

    Inventor: 杨有 姚露 胡峻滔

    Abstract: 本发明涉及视觉问答技术领域,具体涉及一种基于双特征协作关系注意力网络的视觉问答方法,包括构建几何相关自注意力模块;构建关系增强交叉注意力模块;基于几何相关自注意力模块和关系增强交叉注意力模块构建双特征协同关系注意力网络;将问题和图像进行预处理后,输入双特征协同关系注意力网络模型进行预测,得到预测答案,在编码器‑解码器框架的基础上,的模型使用一个全新的多级协同解码层堆叠,实现了区域特征和网格特征之间深层语义的关联,通过几何相关自注意力单元,编码了图像的几何信息,实现了特征和空间属性的整合,从而解决传统VQA模型对对象之间关系和细节特征探索不充分的问题。

    基于双空间归一化变换器的图像描述生成方法

    公开(公告)号:CN116309180A

    公开(公告)日:2023-06-23

    申请号:CN202310340715.0

    申请日:2023-03-31

    Inventor: 杨有 胡峻滔 尚晋

    Abstract: 本发明涉及图像处理技术领域,具体涉及一种基于双空间归一化变换器的图像描述生成方法,包括将原始低动态范围图像由RGB颜色空间转换到HSV颜色空间,分离出低动态范围图像的亮度分量和饱和度分量;分别对亮度分量和饱和度分量进行处理,得到新亮度分量和新饱和度分量;融合新亮度分量、新饱和度分量和色调分量得到HSV空间的高动态范围图像,得到融合图像;将融合图像转化至RGB颜色空间得到最终高动态范围图像;提取最终高动态范围图的图像显著区域特征和视觉常识特征;将图像显著区域特征和视觉常识特征输入双空间归一化变换器,得到图像描述语句,解决了现有的图像描述的方法的精确度较低的问题。

    一种协同门控循环融合LSTM图像标注方法

    公开(公告)号:CN113627424A

    公开(公告)日:2021-11-09

    申请号:CN202110794816.6

    申请日:2021-07-14

    Abstract: 本发明涉及协同门控循环融合领域,具体涉及一种协同门控循环融合LSTM图像标注方法,通过协同门控注意方法执行图像‑文本匹配的多模态任务;由生成注意权值的注意LSTM循环融合组成注意rLSTM;由生成单词的语言LSTM循环融合组成语言rLSTM;把协同门控注意SGA和循环融合LSTM整合在一起,形成rLSTM‑SGA;使用数据集对方法进行评论,从而通过SGA方法不仅注意图像的显著区域特征,还可以注意图像的空间特征信息,rLSTM方法,它可以代替传统单一的LSTM单元生成机制,每一时刻通过循环多个相同的LSTM对同一输入进行融合建模,进而对同一语义获取不同的上下文信息,以此提高模型序列学习的能力,生成更加准确的描述语句,整合上述两种创新方法在MSCOCO数据集上进行了评估。

    基于位置引导Transformer的图像描述生成方法、装置和计算机设备

    公开(公告)号:CN114782698A

    公开(公告)日:2022-07-22

    申请号:CN202210550930.9

    申请日:2022-05-18

    Abstract: 本发明涉及计算机视觉和自然语言处理技术领域,公开了一种基于位置引导Transformer的图像描述生成方法,包括:提取图像的网格特征并进行扁平化处理得到输入向量;计算相对位置编码和绝对位置编码;将上述向量和编码输入预设的位置引导Transformer模型,得到描述图像的语句;位置引导Transformer模型包括编码器和解码器,其均由多个堆叠的注意力块组成,编码器的每个注意力块包括双位置注意力层和前馈神经网络,解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。本发明提供的基于位置引导Transformer的图像描述生成方法、装置和计算机设备,将绝对位置编码和相对位置编码同时引入自注意力模块,并在其内部对图像特征进行组归一化,提高了模型的表现力。

    融合视觉常识和增强多层全局特征的图像描述生成方法

    公开(公告)号:CN113378919A

    公开(公告)日:2021-09-10

    申请号:CN202110642157.4

    申请日:2021-06-09

    Abstract: 本发明涉及计算机视觉技术领域,具体公开了一种融合视觉常识和增强多层全局特征的图像描述生成方法,融合VC R‑CNN提取的视觉常识特征和FasterR‑CNN提取的局部特征,得到融合特征;采用X线性注意力机制挖掘对象之间的视觉语义关系,以获得高层局部特征和多层全局特征;采用AoA机制增强多层全局特征,线性映射得到融合全局特征;利用视觉选择的长短时记忆对融合全局特征进行筛选,并采用X线性注意力机制对高层局部特征加权自适应地选择相关信息,最后使用语义解码的门控线性单元生成输出单词序列。解决了局部特征的图像描述生成模型对视觉语义关系挖掘不充分,且注意力机制提取的多层全局特征存在冗余信息的问题。

    一种三通路残差注意力图像描述方法

    公开(公告)号:CN114863222A

    公开(公告)日:2022-08-05

    申请号:CN202210680166.7

    申请日:2022-06-15

    Abstract: 本发明涉及数据处理技术领域,具体涉及一种三通路残差注意力图像描述方法,包括提取输入图片的网络特征;构建三个残差注意力路径;通过在三个残差注意力路径之间添加跳过连接来生成注意力分数;在编码器中引入相对位置的残差注意力模块将相对位置分数与注意力分数结合,得到更新编码器;在解码器中引入带有层归一化查询向量的残差注意力模块,得到更新解码器;基于三个残差注意力路径、更新编码器和更新解码器构建并训练注意力机制模型;将网格特征输入训练后的注意力机制模型进行融合后输出,得到图像文字描述,解决了现有的注意力机制模型不同层的注意力分数之间的联系不够强的问题。

    一种协同门控循环融合LSTM图像标注方法

    公开(公告)号:CN113627424B

    公开(公告)日:2023-09-12

    申请号:CN202110794816.6

    申请日:2021-07-14

    Abstract: 本发明涉及协同门控循环融合领域,具体涉及一种协同门控循环融合LSTM图像标注方法,通过协同门控注意方法执行图像‑文本匹配的多模态任务;由生成注意权值的注意LSTM循环融合组成注意rLSTM;由生成单词的语言LSTM循环融合组成语言rLSTM;把协同门控注意SGA和循环融合LSTM整合在一起,形成rLSTM‑SGA;使用数据集对方法进行评论,从而通过SGA方法不仅注意图像的显著区域特征,还可以注意图像的空间特征信息,rLSTM方法,它可以代替传统单一的LSTM单元生成机制,每一时刻通过循环多个相同的LSTM对同一输入进行融合建模,进而对同一语义获取不同的上下文信息,以此提高模型序列学习的能力,生成更加准确的描述语句,整合上述两种创新方法在MSCOCO数据集上进行了评估。

    融合视觉常识和增强多层全局特征的图像描述生成方法

    公开(公告)号:CN113378919B

    公开(公告)日:2022-06-14

    申请号:CN202110642157.4

    申请日:2021-06-09

    Abstract: 本发明涉及计算机视觉技术领域,具体公开了一种融合视觉常识和增强多层全局特征的图像描述生成方法,融合VC R‑CNN提取的视觉常识特征和FasterR‑CNN提取的局部特征,得到融合特征;采用X线性注意力机制挖掘对象之间的视觉语义关系,以获得高层局部特征和多层全局特征;采用AoA机制增强多层全局特征,线性映射得到融合全局特征;利用视觉选择的长短时记忆对融合全局特征进行筛选,并采用X线性注意力机制对高层局部特征加权自适应地选择相关信息,最后使用语义解码的门控线性单元生成输出单词序列。解决了局部特征的图像描述生成模型对视觉语义关系挖掘不充分,且注意力机制提取的多层全局特征存在冗余信息的问题。

    一种工程档案数据采集装置

    公开(公告)号:CN214480801U

    公开(公告)日:2021-10-22

    申请号:CN202121022615.6

    申请日:2021-05-13

    Abstract: 本实用新型属于数据采集装置技术领域,具体涉及一种工程档案数据采集装置,包括支撑架,支撑架包括上横杆和下横杆,上横杆和下横杆共同设有竖杆,上横杆设有滑槽,上横杆设有圆槽,滑槽设有移动板,移动板设有锁销和圆柱,上横杆设有转轴,圆柱设有拉线,圆柱设有弹簧,两个弹簧靠近转轴一端均设有与圆槽内壁固定连接的抵环,两个平板分别铰接在下横杆的左右两侧,平板远离铰接端的前后两侧均设有与锁销相匹配的锁销扣,本实用新型结构巧妙,设计合理,能够对纸质档案数据进行拍照采集,同时在不使用时能够收纳折叠,这样能够减小体积,进而方便携带或储存。

Patent Agency Ranking