场景图的生成方法、装置和设备

    公开(公告)号:CN111931928A

    公开(公告)日:2020-11-13

    申请号:CN202010687142.5

    申请日:2020-07-16

    Abstract: 本发明涉及计算机视觉技术领域,提供一种场景图的生成方法、装置和设备,旨在使用训练数据集构建难度较小的人工神经网络来实现场景图的生成。场景图的生成方法包括:通过人工神经网络的物体检测模块来提取被分析图像中的实体对象信息;通过人工神经网络的实体关系检测模块获得被分析图像中的实体对象关系信息;根据所述实体对象信息和实体对象关系信息生成场景图,所述场景图包括至少一个由主体、谓语和客体构成的关系三元组;其中,所述人工神经网络的训练数据集中,任意一个作为监督信息的关系三元组仅存在于一个训练图像。

    一种基于概念交互和关联语义的文本视觉问答系统及方法

    公开(公告)号:CN111858882A

    公开(公告)日:2020-10-30

    申请号:CN202010584144.1

    申请日:2020-06-24

    Abstract: 本发明提供了一种基于概念交互和关联语义的文本视觉问答系统及方法,包括物体位置提取模块、第一全连接层、文本信息提取模块、第二全连接层、OCR-object图卷积网络、多门步机制图卷积网络、转换器网络以及双向转换器表征编码器BERT。本申请利用图像中物体和文本信息的位置关系建模,之后通过OCR-object图卷积网络对文本信息和物体信息建模,通过门机制对关系的编码学习到丰富且具有指向性的特征,最后通过转换器网络对图像当中的物体和文本进行精准关注,从而得到更加准确的答案。

    一种渐进式的端到端深度特征量化系统及方法

    公开(公告)号:CN109670057A

    公开(公告)日:2019-04-23

    申请号:CN201910005178.8

    申请日:2019-01-03

    Abstract: 本发明涉及图像检索领域,其公开了一种渐进式的端到端深度特征量化系统及方法,解决传统技术中由于特征提取和量化两部分相互孤立,在数据库中的二进制编码长度需要变更时,需要重新训练神经网络并对整个数据库重新编码,而带来的耗费时间和运算资源的问题。该系统包括深度神经网络,所述深度神经网络包括:图像特征优化单元,用于将图片通过表示学习,生成用于描述图片的D维实数特征向量;特征量化单元,用于通过一个或多个量化层将特征向量转化为二进制编码;当使用多个量化层时,各个量化层的量化误差作为下一个量化层的输入,根据编码精度需求选择相应个数的量化层的量化输出的编码进行拼接,获得最终的二进制编码。

    基于增强视频扩散模型的动作视频生成方法

    公开(公告)号:CN119094788A

    公开(公告)日:2024-12-06

    申请号:CN202411055109.5

    申请日:2024-08-02

    Abstract: 本发明公开了一种基于增强视频扩散模型的动作视频生成方法,根据实际情况设置动作的参考视频集合,根据实际需要构建文本编码器,变分自编码器和扩散U‑Net模型并分别采用相应的训练样本集进行预训练,基于以上子模型构建增强视频扩散模型并采用若干源视频对增强视频扩散模型进行训练,在训练过程中通过添加噪声将源视频特征转换为噪声,然后利用增强视频扩散模根据参考视频的视觉信息以及文本描述预测噪声,利用噪声的差距计算损失函数更新模型参数;将字幕文本和噪声输入训练好的增强视频扩散模型,即可生成对应的动作视频。本发明可以无需对未经训练的动作进行任何进一步的微调即可根据字幕文本准确生成动作视频。

    基于图像量化的通用图像检索方法

    公开(公告)号:CN118939828A

    公开(公告)日:2024-11-12

    申请号:CN202411142461.2

    申请日:2024-08-20

    Abstract: 本发明公开了一种基于图像量化的通用图像检索方法,首先构建训练样本集,再构建包括视觉特征提取模块,一阶量化跨域模块,组合特征提取模块和二阶量化跨类别模块的图像量化模型;在训练过程中,先随机初始化一阶代码本,经过视觉特征提取模块和一阶代码本利用对比学习机制学习到跨域一致性特征,基于一阶码本更新得到二阶码本,通过组合特征提取模块和二阶码本获取新类别感知的特征,再由二阶量化跨类别模块得到量化组合特征;在检索时将搜索图像库中的每张图像和待检测图像输入图像量化模型得到每张图像的组合特征,基于该组合特征得到检索结果。本发明可有效解决图像检索任务中的跨领域和跨类别挑战,显著提高图像检索的准确性和效率。

    一种广义无偏差场景图生成方法
    39.
    发明公开

    公开(公告)号:CN117557666A

    公开(公告)日:2024-02-13

    申请号:CN202311510039.3

    申请日:2023-11-13

    Abstract: 本发明公开了一种广义无偏差场景图生成方法,对场景图生成数据集中的谓词进行语义规模定量分析确定概念原型数量,然后基于超球体初始化概念原型,构建包括目标检测器,主宾语上下文编码器,平衡记忆模块,概念原型特征生成模块,多头注意力模块,特征融合模块,概念匹配模块,平衡记忆队列更新模块和场景图构建模块的场景图生成模型,采用场景图生成数据集对场景图生成模型进行训练,将需要生成场景图的图像输入训练好的场景图生成模型,得到对应的场景图。本发明针对谓词级别和概念级别的不平衡问题设置了场景图生成模型,使得生成的场景图更加合理。

    一种基于迁移的对抗样本制备方法

    公开(公告)号:CN116797874A

    公开(公告)日:2023-09-22

    申请号:CN202310717695.4

    申请日:2023-06-16

    Abstract: 本发明涉及图像分类模型的安全领域,具体涉及一种基迁移的对抗样本制备方法,其首先,将输入图像按设定的采样次数复制并分别添加扰动,获得一组分别按随机方向接近替代模型的决策边界的边界点样本;然后,利用替代模型,计算各边界点样本的损失梯度;之后,计算边界点样本的平均梯度,并以平均梯度的方向添加设定步长的扰动,获得当前步的输出图像;最终,通过多次的迭代获得对抗样本。该方法,通过对替代模型决策边界信息的充分利用,进行边界拟合,增强了对抗样本的迁移性,迁移范围广,能有效评估多种不同结构的模型,评估结果更接近目标模型的鲁棒性下限。适用于基于迁移的黑盒模型鲁棒性评估。

Patent Agency Ranking