一种图像描述模型的构建方法、图像描述方法及设备

    公开(公告)号:CN119295770A

    公开(公告)日:2025-01-10

    申请号:CN202411301962.0

    申请日:2024-09-18

    Abstract: 本发明公开了一种图像描述模型的构建方法、图像描述方法及设备,属于图像处理技术领域;本发明设计了一种包括多层DT模块级联的DT模型,通过多层DT模块级联来保证下一层DT模块中的去噪训练过程受到上一层DT模块预测结果的约束,并在扩散模型自约束的基础上,将预测出的句子结构信息和去噪后的全面语义信息作为增强的约束条件训练去噪过程,是一种基于结构与语义信息条件约束的扩散网络非自回归图像描述方法,解决了现有非自回归图像描述方法中单词之间缺乏依赖信息、生成的句子存在严重的单词重复和缺失的问题,能够快速准确地对图像进行描述。另外,本发明还提出了P个候选模型的多次迭代的优化策略,能够大幅提升样本质量与训练效率。

    基于SIFT特征匹配的语义图生成方法、电子设备、存储介质

    公开(公告)号:CN117351230A

    公开(公告)日:2024-01-05

    申请号:CN202311250557.6

    申请日:2023-09-25

    Abstract: 本发明公开了一种基于SIFT特征匹配的语义图生成方法、电子设备、存储介质,属于图像自动标识技术领域,所述语义图生成方法包括:在目标图中为每个关键像素点配对最相似像素点和次相似像素点,形成一对二匹配对;计算同一匹配对中的关键像素点与最相似像素点的距离和与次相似像素点的距离,剔除错误的匹配对,构造可用匹配集;在可用匹配集中任选四元对并推导出原图与目标图的变换矩阵;计算局内点的出现概率,当概率未达到预设概率,重新选择四元直至达到预设概率,基于当前合格四元对的变换矩阵得到目标图的目标语义图。通过上述方法,可以提高四元对有效性的概率,推导出较为准确的变换矩阵,继而自动生成目标图的目标语义图。

Patent Agency Ranking