一种基于双特征协作关系注意力网络的视觉问答方法

    公开(公告)号:CN116486405A

    公开(公告)日:2023-07-25

    申请号:CN202310212230.3

    申请日:2023-03-07

    Inventor: 杨有 姚露 胡峻滔

    Abstract: 本发明涉及视觉问答技术领域,具体涉及一种基于双特征协作关系注意力网络的视觉问答方法,包括构建几何相关自注意力模块;构建关系增强交叉注意力模块;基于几何相关自注意力模块和关系增强交叉注意力模块构建双特征协同关系注意力网络;将问题和图像进行预处理后,输入双特征协同关系注意力网络模型进行预测,得到预测答案,在编码器‑解码器框架的基础上,的模型使用一个全新的多级协同解码层堆叠,实现了区域特征和网格特征之间深层语义的关联,通过几何相关自注意力单元,编码了图像的几何信息,实现了特征和空间属性的整合,从而解决传统VQA模型对对象之间关系和细节特征探索不充分的问题。

    基于双空间归一化变换器的图像描述生成方法

    公开(公告)号:CN116309180A

    公开(公告)日:2023-06-23

    申请号:CN202310340715.0

    申请日:2023-03-31

    Inventor: 杨有 胡峻滔 尚晋

    Abstract: 本发明涉及图像处理技术领域,具体涉及一种基于双空间归一化变换器的图像描述生成方法,包括将原始低动态范围图像由RGB颜色空间转换到HSV颜色空间,分离出低动态范围图像的亮度分量和饱和度分量;分别对亮度分量和饱和度分量进行处理,得到新亮度分量和新饱和度分量;融合新亮度分量、新饱和度分量和色调分量得到HSV空间的高动态范围图像,得到融合图像;将融合图像转化至RGB颜色空间得到最终高动态范围图像;提取最终高动态范围图的图像显著区域特征和视觉常识特征;将图像显著区域特征和视觉常识特征输入双空间归一化变换器,得到图像描述语句,解决了现有的图像描述的方法的精确度较低的问题。

    一种多模态特征融合网络的图像描述生成方法

    公开(公告)号:CN113673535A

    公开(公告)日:2021-11-19

    申请号:CN202110562471.1

    申请日:2021-05-24

    Abstract: 本发明涉及图像数据处理领域,公开了一种多模态特征融合网络的图像描述生成方法,包括构建多模态特征融合网络;在Up‑Down模型基础架构上设计解码端;将多模态特征融合网络融入到解码端,形成基于多模态特征融合网络的图像描述生成模型;训练基于多模态特征融合网络的图像描述生成模型;输入测试图像,对基于多模态特征融合网络的图像描述生成模型的性能进行验证。本发明使用循环神经网络构建层级结构来融合编码特征,且使用注意力机制来加权输入信息,以此让编码器提取的单一图像特征相互关联,增强特征交互,从而更好地挖掘隐含层向量和对象特征的关联性,实现更高的图像描述生成性能。

    一种协同门控循环融合LSTM图像标注方法

    公开(公告)号:CN113627424A

    公开(公告)日:2021-11-09

    申请号:CN202110794816.6

    申请日:2021-07-14

    Abstract: 本发明涉及协同门控循环融合领域,具体涉及一种协同门控循环融合LSTM图像标注方法,通过协同门控注意方法执行图像‑文本匹配的多模态任务;由生成注意权值的注意LSTM循环融合组成注意rLSTM;由生成单词的语言LSTM循环融合组成语言rLSTM;把协同门控注意SGA和循环融合LSTM整合在一起,形成rLSTM‑SGA;使用数据集对方法进行评论,从而通过SGA方法不仅注意图像的显著区域特征,还可以注意图像的空间特征信息,rLSTM方法,它可以代替传统单一的LSTM单元生成机制,每一时刻通过循环多个相同的LSTM对同一输入进行融合建模,进而对同一语义获取不同的上下文信息,以此提高模型序列学习的能力,生成更加准确的描述语句,整合上述两种创新方法在MSCOCO数据集上进行了评估。

    一种悬臂梁的优化设计方法
    6.
    发明公开

    公开(公告)号:CN119622889A

    公开(公告)日:2025-03-14

    申请号:CN202411847940.4

    申请日:2024-12-16

    Abstract: 本发明属于悬臂梁设计技术领域,具体涉及一种悬臂梁的优化设计方法,包括首先针对悬臂梁设计的问题,建立数学模型;其次将其引入Q‑learning的算术优化算法(RAOA);然后引入随机精英池策略进一步优化算法;最后通过改进的算术优化算法进行迭代求解;本发明增强了算法探索能力和收敛速度,将不同能力的搜索策略进行整合,从而提高搜索的有效性,有利于在实际应用中短时间得到更好的解决方案,同时还能够根据不同优化问题动态调整搜索策略,以确保最大收益。

    一种协同门控循环融合LSTM图像标注方法

    公开(公告)号:CN113627424B

    公开(公告)日:2023-09-12

    申请号:CN202110794816.6

    申请日:2021-07-14

    Abstract: 本发明涉及协同门控循环融合领域,具体涉及一种协同门控循环融合LSTM图像标注方法,通过协同门控注意方法执行图像‑文本匹配的多模态任务;由生成注意权值的注意LSTM循环融合组成注意rLSTM;由生成单词的语言LSTM循环融合组成语言rLSTM;把协同门控注意SGA和循环融合LSTM整合在一起,形成rLSTM‑SGA;使用数据集对方法进行评论,从而通过SGA方法不仅注意图像的显著区域特征,还可以注意图像的空间特征信息,rLSTM方法,它可以代替传统单一的LSTM单元生成机制,每一时刻通过循环多个相同的LSTM对同一输入进行融合建模,进而对同一语义获取不同的上下文信息,以此提高模型序列学习的能力,生成更加准确的描述语句,整合上述两种创新方法在MSCOCO数据集上进行了评估。

    一种基于多列门控卷积网络的人脸图像修复方法

    公开(公告)号:CN112837234B

    公开(公告)日:2022-07-22

    申请号:CN202110096256.7

    申请日:2021-01-25

    Abstract: 本发明公开了一种基于多列门控卷积网络的人脸图像修复方法,获取待修复人脸图像和掩码,并将所述待修复人脸图像输入带有门控卷积的生成器中进行修复,得到生成图像;基于感知损失法,利用隐式多元马尔可夫随机场计算出所述生成图像和原始图像之间的特征损失值;将所述生成图像中的像素的置信度进行赋值,并根据所述特征损失值和计算得到的两种损失值,得到联合损失值,由三个并行的编解码器分支组成,每个分支设置不同尺寸的卷积核,分别提取人脸不同层次的语义信息,提高全局语义结构一致性;融入一种门控卷积,提高了不规则缺失区域的修复能力;并使用多尺度神经块匹配方法,增强脸部的细节纹理,提高修复能力。

    融合视觉常识和增强多层全局特征的图像描述生成方法

    公开(公告)号:CN113378919B

    公开(公告)日:2022-06-14

    申请号:CN202110642157.4

    申请日:2021-06-09

    Abstract: 本发明涉及计算机视觉技术领域,具体公开了一种融合视觉常识和增强多层全局特征的图像描述生成方法,融合VC R‑CNN提取的视觉常识特征和FasterR‑CNN提取的局部特征,得到融合特征;采用X线性注意力机制挖掘对象之间的视觉语义关系,以获得高层局部特征和多层全局特征;采用AoA机制增强多层全局特征,线性映射得到融合全局特征;利用视觉选择的长短时记忆对融合全局特征进行筛选,并采用X线性注意力机制对高层局部特征加权自适应地选择相关信息,最后使用语义解码的门控线性单元生成输出单词序列。解决了局部特征的图像描述生成模型对视觉语义关系挖掘不充分,且注意力机制提取的多层全局特征存在冗余信息的问题。

Patent Agency Ranking