一种基于图神经网络强化学习的机器人自主控制方法

    公开(公告)号:CN112297005B

    公开(公告)日:2021-10-22

    申请号:CN202011077580.6

    申请日:2020-10-10

    Inventor: 俞俊 姚宗贵

    Abstract: 本发明公开了一种基于图神经网络强化学习的机器人自主控制方法。本发明步骤如下:1、根据环境反馈给机器人传感器的信息和机器人的物理结构,组建机器人的特征图。2、将得到的特征图输入到图神经网络,在训练阶段使用机器人感知到的监督信息对图神经网络进行训练。3、使用训练完成的图神经网络对感知状态信息进行处理,得到更新后的机器人状态信息,预测下一时刻机器人的状态信息。4、使用建立起来的环境模型,以及模型预测控制算法,对未来一步机器人动作进行决策。本发明使用基于图网络的强化学习模型,成功地完成了之前强化学习并不能很好完成的动作提升了机器人自主控制的稳定性和可靠性,使得机器人自主控制更加便于实际应用。

    一种姿态和纹理引导的时尚服装设计合成方法

    公开(公告)号:CN113393550A

    公开(公告)日:2021-09-14

    申请号:CN202110660701.8

    申请日:2021-06-15

    Inventor: 顾晓玲 俞俊 黄洁

    Abstract: 本发明公开了一种姿态和纹理引导的时尚服装设计合成的方法。本发明步骤:1、借助现有的时尚数据集,收集任务的数据,并对数据进行预处理,构建时尚图像、姿态信息、语义信息数据组;2、以生成自然准确的时尚图像为目标,构建两阶段生成模型;生成模型包括语义布局生成网络和纹理生成网络,实现纹理有效转移,生成多样性的时尚图像;3、在最小化对抗损失、交叉熵损失、像素级损失、感知损失及风格损失下,利用收集到的数据组训练语义布局生成网络和纹理转移网络;4、通过反向传播算法对生成模型中的网络参数进行训练,直至整个模型收敛,生成对应的时尚图像。本发明在Fashion‑Gen数据集上进行了实验,在定量和定性上都取得了很好的结果。

    一种基于金字塔结构的图注意力网络时序动作定位方法

    公开(公告)号:CN113255443A

    公开(公告)日:2021-08-13

    申请号:CN202110412867.8

    申请日:2021-04-16

    Inventor: 俞俊 朱素果 杨津

    Abstract: 本发明公开了一种基于金字塔结构的图注意力网络时序动作定位方法。本发明主要涉及利用图注意力网络搭建的多尺度金字塔模型融合预测多时间跨度的行为检测。本发明步骤:1、数据预处理,提取视频数据的初始时空特征,2、基于图注意力机制的金字塔网络模型,搭建带有时序注意力机制的多尺度模型,3、模型训练,利用反向传播算法训练神经网络参数。4、生成定位检测结果。本发明引入了金字塔结构来构造不同感受野的特征层,以解决行为在尺度上的预测问题。并引入了图注意力机制,在时序信息上加入了注意力模块,在特征中充分融合了时序上的内容;本发明在时序动作定位领域中的最好效果,相比于原始的单一特征图预测方法在性能上有了很大的提升。

    一种基于节点注意力的半监督节点分类方法

    公开(公告)号:CN113159160A

    公开(公告)日:2021-07-23

    申请号:CN202110412835.8

    申请日:2021-04-16

    Abstract: 本发明公开了一种基于节点注意力的半监督节点分类方法。本发明步骤如下:步骤(1)数据预处理;步骤(2)特征提取,先经过1‑2层的图卷积网络提取节点特征,作为后序操作的数据准备;步骤(3)节点自适应调整:首先对每个节点平均聚合其一阶邻居的特征,再将节点自身的特征信息和平均聚合后的特征拼接起来,获得所需局部表征;然后把提取出来的局部表征送入一个单层的全连接网络,并将全连接网络的输出结果和步骤(2)得到的节点特征输入门控单元进行特征融合;步骤(4)分类预测以及准确率度量。本发明可对每个节点自适应调整,而且在空间复杂度上较比于图注意力网络有明显的优势,性能也和图注意力网络相当。

    一种自适应交互结构学习的双二次池化模型

    公开(公告)号:CN113139587A

    公开(公告)日:2021-07-20

    申请号:CN202110350164.7

    申请日:2021-03-31

    Inventor: 谭敏 袁富 俞俊

    Abstract: 本发明提出了一种自适应交互结构学习的双二次池化模型。本发明步骤如下:首先利用层次化深度模型提取图像的多级深度特征,在跨级特征间获得多组双二次池化特征后,构建维度为池化组个数的权重向量;在深度网络中添加权重与池化特征的乘法模块,在加权池化特征上进行分类;其次对整个权重向量施加L1范数的稀疏约束;然后设计监督模块,在所有加权池化特征上构建分类损失。4、根据上述步骤建立多任务端到端的深度学习模型,在特定数据集上训练并微调整个网络,将最终模型在测试集上测试性能。本发明能针对特定数据集自适应挖掘最合适的交互结构,具有很强的现实性和普适性。

    一种用于场景图检测的关系图学习方法

    公开(公告)号:CN113139423A

    公开(公告)日:2021-07-20

    申请号:CN202110256665.9

    申请日:2021-03-09

    Abstract: 本发明公开了一种用于场景图检测的关系图学习方法。本发明步骤:1、对于大型数据集中的图像,按照标准数据集处理方法,提取出现频次最高的150个目标和50个关系作为数据集Ⅰ的目标和关系;2、分别对数据集Ⅰ中的每张图像用目标检测网络Faster R‑CNN来提取目标,并获得每对目标之间的关系建议,提取的目标和关系建议构成关系数据;3、利用关系提取网络对得到的关系数据进行筛选,过滤冗余信息关系和无效性关系;4、构建一个关系图注意力网络,该网络由两部分组成:视觉‑空间图注意力子网络和语义‑空间图注意力子网络;通过融合两个子网络的结果获得最终关系图。本发明实验结果表明比现有的最优方法效果提升数个百分点。

    一种基于隐藏信息学习的图像美学描述生成方法

    公开(公告)号:CN112598662A

    公开(公告)日:2021-04-02

    申请号:CN202011609603.3

    申请日:2020-12-30

    Inventor: 俞俊 李相 高飞

    Abstract: 本发明公开了一种基于隐藏信息学习的图像美学描述生成的方法。本发明步骤如下:(1)模型预处理。采用目标检测网络Encv和Transformer网络Enct分别从图像和文本评论中提取多尺度特征表达;(2)基于对抗学习的跨模态一致性特征提取。利用对抗学习思想,构建特征模态判别器;(3)多因素控制的美学评论生成。以美学因素标记作为辅助信息,利用美学因素编码器Encf提取美学因素标记对应的语义特征,并将该语义特征输入到评论解码器中,生成文本评论;(4)基于多任务约束判别网络,实现多尺度图像特征和多尺度文本特征的有效性和生成的文本评论的合理性;(5)基于隐藏信息学习的对抗损失。本发明生成文本与输入图像的美学质量相匹配,从而提升模型的鲁棒性和精确性。

    一种基于多目标关联深度推理的图像问答方法

    公开(公告)号:CN110263912B

    公开(公告)日:2021-02-26

    申请号:CN201910398140.1

    申请日:2019-05-14

    Inventor: 余宙 俞俊 汪亮

    Abstract: 本发明公开了一种基于多目标关联深度推理的图像问答方法。本发明包括以下步骤:1、对图像和以其自然语言描述的文本进行数据预处理,2、基于候选框几何特征增强的适应性注意力模块模型,进行各目标的注意力机制重排序。3、基于AAM模型的神经网络结构。4、模型训练,利用反向传播算法训练神经网络参数。本发明提出一种针对图像问答的深度神经网络,特别是提出一种对图像‑问题文本的数据进行统一建模,在图像中各目标特征上进行推理,对各目标的注意力机制重排序从而更精确地对问题进行回答的方法,并且在图像问答领域中的获得较好效果。

    一种基于多样鉴别性候选框生成网络的针对视觉定位方法

    公开(公告)号:CN109712108B

    公开(公告)日:2021-02-02

    申请号:CN201811305577.8

    申请日:2018-11-05

    Inventor: 俞俊 余宙 项晨钞

    Abstract: 本发明公开了一种基于多样鉴别性候选框生成网络的针对视觉定位方法。本发明包括以下步骤:1、训练多样鉴别性候选框生成网络。2、使用训练好的DDPN网络对图像提取特征。3、提取文本数据特征。4、构建目标向量以及回归框的目标值。5、构建深度神经网络。6、设置损失函数。7、训练模型。8、计算网络预测值。本发明所提出的算法,尤其是基于DDPN网络的对图像提取特征的算法在图像视觉定位任务上取得了显著性的提升效果,大幅度的超越了目前在该任务上的所有主流方法。并且本发明的特征提取算法在其他跨模态相关领域中如图像内容问答和图像描述中也具有十分重要的应用价值和巨大的潜力。

    一种基于沙漏网络结合注意力机制的人体姿态估计方法

    公开(公告)号:CN112232134A

    公开(公告)日:2021-01-15

    申请号:CN202010991889.X

    申请日:2020-09-18

    Inventor: 俞俊 董谢娜

    Abstract: 本发明公开了一种基于沙漏网络结合注意力机制的人体姿态估计方法。本发明步骤如下:步骤(1)、在沙漏模块前面我们把加入一条分支计算非局部注意力特征,并把这个注意力特征融入主分支。我们称之为全局注意力模块。步骤(2)、在沙漏模块后面我们把输出分成若干通道分别做注意力计算得到每个通道的特征作为输出。我们称之为局部注意力模块。步骤(3)、通过反向传播算法对网络参数进行训练,直至整个网络模型收敛。本发明解决了原来模型的人际间关节的干扰和自我关节的干扰的问题。人体姿态估计在基于图像或视频分析人类行为中起着重要作用,准确高效的人体姿势估计可以促进各种应用,提出的改善方法使得原模型最终的检测效果得到提升。

Patent Agency Ranking