一种物体特征的确定方法、装置及设备

    公开(公告)号:CN116109973A

    公开(公告)日:2023-05-12

    申请号:CN202310029012.6

    申请日:2023-01-09

    Abstract: 本申请提供一种物体特征的确定方法、装置及设备,包括:获取样本视频中的关键帧对应的多个目标物体特征,获取样本文本对应的文本特征;基于文本特征和多个目标物体特征确定文本特征与关键帧之间的空间定位分数和时间定位分数;基于空间定位分数和时间定位分数确定第一损失值;从关键帧对应的多个目标物体特征中选取代表性物体特征,确定代表性物体特征对应的特征效应分数;从样本视频的多个关键帧中选取代表性关键帧,确定代表性关键帧对应的帧效应分数;基于特征效应分数和帧效应分数确定第二损失值;基于第一损失值和第二损失值确定目标损失值,基于目标损失值训练得到目标网络模型。通过本申请方案,目标网络模型的训练时间短,资源消耗小。

    视频描述方法、系统及装置

    公开(公告)号:CN110019952A

    公开(公告)日:2019-07-16

    申请号:CN201710940199.X

    申请日:2017-09-30

    Abstract: 本发明实施例提供了一种视频描述方法、系统及装置,其中,该方法可以利用基于卷积神经网络的视频编码器提取待描述视频中当前时刻视频帧的视觉特征表示;将当前时刻的视觉特征表示写入到当前时刻的视觉记忆存储器中;根据当前时刻的视觉记忆存储器和当前时刻的文本记忆存储器从当前时刻的属性记忆存储器中读取属性信息;利用基于长短时记忆网络的文本解码器根据上一时刻单词和当前时刻读取的属性信息生成预测的单词。可见,该实施例采用多模态描述方法,有助于增加视频描述的灵活性。

    基于人体姿态的多视角人体图像合成方法及装置

    公开(公告)号:CN109191366A

    公开(公告)日:2019-01-11

    申请号:CN201810764054.3

    申请日:2018-07-12

    Abstract: 本发明属于图像合成技术领域,具体提供一种基于人体姿态的多视角人体图像合成方法及装置。旨在解决现有技术无法有效地进行人的多视角图像合成以及保持人的特征不发生明显变化的问题。本发明提供了一种基于人体姿态的多视角人体图像合成方法,包括基于姿态转换模型并根据原始人体姿态和目标视角,对原始人体姿态进行姿态转换;基于前景转换模型并根据原始前景图像、原始人体姿态和目标视角人体姿态,对原始前景图像进行前景转换;基于多视角合成模型并根据原始图像和目标前景图像,对原始图像进行多视角合成,得到多视角人体合成图像。本发明提供的方法具有保持合成图像中人的特征,以及合成高质量的合成图像的有益效果。

    基于双向循环卷积网络的视频超分辨率方法和系统

    公开(公告)号:CN105072373B

    公开(公告)日:2018-03-27

    申请号:CN201510540560.0

    申请日:2015-08-28

    Inventor: 王亮 王威 黄岩

    Abstract: 本发明公开了一种基于双向循环卷积网络的视频超分辨率方法,包括:建立双向循环网络,包括按照时间顺序的前向循环子网络和后向循环子网络,每个循环子网络自底向上包含一个输入序列层,两个隐含序列层和一个输出序列层,每一序列层包括多个状态,对应于不同时刻的视频帧;用三种卷积操作来连接这些状态,包括前馈卷积,循环卷积和条件卷积,以得到双向循环卷积网络;把训练视频送到建立好的双向循环卷积网络中,利用随机梯度下降算法来最小化预测的和真实的高分辨率视频之间的均方误差,从而迭代地优化该网络的权重,并得到最终的双向循环卷积网络;向所述最终的双向循环卷积网络模型输入待处理的低分辨率视频序列,得到对应的超分辨率结果。

    基于判别相关分析的跨媒体检索方法

    公开(公告)号:CN102663447B

    公开(公告)日:2014-04-23

    申请号:CN201210133488.6

    申请日:2012-04-28

    Inventor: 谭铁牛 王亮 王威

    Abstract: 本发明公开了一种基于判别相关分析的跨媒体检索方法,该方法包括以下步骤:建立跨媒体训练数据库,依次对其中不同模态样本进行特征提取、均值预处理和线性投影变换,并根据投影空间设定一目标函数;求解目标函数得到线性投影向量;建立跨媒体测试数据库;对待检索对象依次进行特征提取和均值预处理;使用所述线性投影向量对经均值预处理的特征数据进行线性投影变换;计算两模态数据投影变量之间的欧式距离,并进行升序排序,从而得到跨媒体检索结果。本发明方法能够对特征数据进行有效地降维,从而广泛地应用在其他很多多模态工作中,比如多模态生物特征识别。

    基于迁移学习的动物行为识别方法和装置

    公开(公告)号:CN106056043B

    公开(公告)日:2019-07-30

    申请号:CN201610339756.8

    申请日:2016-05-19

    Inventor: 王亮 王威 王洪松

    Abstract: 本发明提出了一种基于迁移学习的目标动物行为识别方法和装置,即训练数据集中的训练样本包括人的行为样本、非目标动物的行为样本和目标动物的行为样本中的一种或几种的组合,测试数据集为目标动物的行为样本。该发明步骤包括:步骤101,针对训练数据集中的每一个训练样本和测试数据集中的每一测试样本,提取原始特征;步骤102,采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中,得到新的特征;步骤103,利用所述新的特征训练SVM分类器,得到行为识别模型,同时对所述目标动物行为识别模型进行测试;步骤104,利用所述动物行为识别模型对目标动物的待识别行为进行识别。本发明提出的基于迁移学习的行为识别方法能有效的识别动物的行为。

    人脸验证方法和系统
    19.
    发明授权

    公开(公告)号:CN104363981B

    公开(公告)日:2018-06-05

    申请号:CN201480000558.8

    申请日:2014-07-14

    CPC classification number: G06K9/80

    Abstract: 本发明涉及一种人脸验证方法和系统,方法包括:利用主成分分析和线性判别分析对高维人脸特征数据分别进行预处理,其中包括设置主成分分析降维后的数据维度;建立判别式高阶玻尔兹曼机,设置隐含层的节点数;利用张量对角化的策略来减少该判别式高阶玻尔兹曼机的模型参数;把成对的人脸数据输入到判别式高阶玻尔兹曼机中,利用随机梯度下降算法来最大化关系类别的条件概率,从而迭代地优化该玻尔兹曼机的权重,从而得到最终的判别式高阶玻尔兹曼机;向判别式高阶玻尔兹曼机模型输入待验证的成对人脸数据,得到对应的验证结果数据。本发明通过在无监督玻尔兹曼机模型中引入数据关系类别信息,使模型判别力增强,更适于具有精度要求的人脸验证。

    基于迁移学习的动物行为识别方法和装置

    公开(公告)号:CN106056043A

    公开(公告)日:2016-10-26

    申请号:CN201610339756.8

    申请日:2016-05-19

    Inventor: 王亮 王威 王洪松

    CPC classification number: G06K9/00771 G06K9/6269

    Abstract: 本发明提出了一种基于迁移学习的目标动物行为识别方法和装置,即训练数据集中的训练样本包括人的行为样本、非目标动物的行为样本和目标动物的行为样本中的一种或几种的组合,测试数据集为目标动物的行为样本。该发明步骤包括:步骤101,针对训练数据集中的每一个训练样本和测试数据集中的每一测试样本,提取原始特征;步骤102,采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中,得到新的特征;步骤103,利用所述新的特征训练SVM分类器,得到行为识别模型,同时对所述目标动物行为识别模型进行测试;步骤104,利用所述动物行为识别模型对目标动物的待识别行为进行识别。本发明提出的基于迁移学习的行为识别方法能有效的识别动物的行为。

Patent Agency Ranking