一种类级别对比学习的弱监督文本行人检索方法及系统

    公开(公告)号:CN116935329B

    公开(公告)日:2023-12-01

    申请号:CN202311204550.0

    申请日:2023-09-19

    Abstract: 本申请属于图像处理领域,尤其涉及一种类级别对比学习的弱监督文本行人检索方法及系统,用于包括但不限于电梯、街道、商场等一切具有行人的场景,通过输入自然语言描述对行人图像或视频进行检索,该方法采用CLIP的预训练模型来提取图像和文本的特征,并使用了离异样本挖掘算法来挖掘其中有价值的聚类离异样本。之后根据聚类ID构建类级别的多模态记忆模块,该模块在训练过程中会动态更新。训练时,混合级别的跨模态匹配模块从类级别和实例级别两个角度拉近同类图像和文本之间的距离,推远不同类图像和文本之间的距离。本发明大幅度提高了弱监督条件下文本行人检索的准确率。

    一种类级别对比学习的弱监督文本行人检索方法及系统

    公开(公告)号:CN116935329A

    公开(公告)日:2023-10-24

    申请号:CN202311204550.0

    申请日:2023-09-19

    Abstract: 本申请属于图像处理领域,尤其涉及一种类级别对比学习的弱监督文本行人检索方法及系统,用于包括但不限于电梯、街道、商场等一切具有行人的场景,通过输入自然语言描述对行人图像或视频进行检索,该方法采用CLIP的预训练模型来提取图像和文本的特征,并使用了离异样本挖掘算法来挖掘其中有价值的聚类离异样本。之后根据聚类ID构建类级别的多模态记忆模块,该模块在训练过程中会动态更新。训练时,混合级别的跨模态匹配模块从类级别和实例级别两个角度拉近同类图像和文本之间的距离,推远不同类图像和文本之间的距离。本发明大幅度提高了弱监督条件下文本行人检索的准确率。

    一种多模态岩性识别方法及系统
    3.
    发明公开

    公开(公告)号:CN119152360A

    公开(公告)日:2024-12-17

    申请号:CN202411093095.6

    申请日:2024-08-09

    Applicant: 山东大学

    Abstract: 本发明公开了一种多模态岩性识别方法及系统,所述方法包括以下步骤:获取岩样图像和岩石介观图像;对获取的图像进行预处理,将经过预处理后的岩样图像和岩石介观图像输入到训练好的融合模型中进行实时识别;融合模型输出岩性识别结果,根据识别结果命名图像;本发明通过建立基于深度学习的融合模型对围岩岩性进行识别,该融合模型能够将岩样图像的颜色、纹理和形状等特征与岩石介观图像的晶体结构、孔隙分布和颗粒大小等特征进行融合,对应岩性关系形成映射,从而达到自动识别的目的,深度学习的岩性智能识别方法识别速度快、成本低、准确度高、自动化程度高,降低了对施工人员的专业知识和鉴别经验的要求。

    基于双机械臂协同的岩性识别系统及方法

    公开(公告)号:CN118288262A

    公开(公告)日:2024-07-05

    申请号:CN202410555916.7

    申请日:2024-05-07

    Applicant: 山东大学

    Abstract: 本发明公开了一种基于双机械臂协同的岩性识别系统及方法,属于岩土与隧道工程技术领域。本发明利用双机械臂协同工作,通过实时获取岩石位置、形状和大小信息,自动规划机械臂路径并执行抓取操作,实现对岩石的高效自动化采集;采用自动变焦相机,并通过景深融合策略进行图像融合,能够获取岩体表面的微观细节和整体结构,这有助于全面了解岩石的特征,为岩性识别提供更多信息;利用深度学习技术进行图像识别,实现了对岩性的智能判识;解决了现有技术中隧道内岩性识别系统的岩石图像采集速度和质量有待提高,且岩性识别效率低的问题。

Patent Agency Ranking