一种基于SAM的文本信息驱动的行人检索方法及系统

    公开(公告)号:CN118038497A

    公开(公告)日:2024-05-14

    申请号:CN202410424542.5

    申请日:2024-04-10

    Applicant: 四川大学

    Abstract: 本发明公开了一种基于SAM的文本信息驱动的行人检索方法及系统,应用于图像识别技术,方法包括:形成图像编码和文本编码;进行细粒度跨模态对齐,并生成跨模态对比损失函数;构建遮蔽语言建模损失函数和遮蔽图像建模损失函数;构建二元分类任务损失函数;进行行人图像分割并生成图像分割损失函数;进行加权计算生成综合损失函数;根据综合损失函数构建检索模型,并通过检索模型对行人进行检索。本发明通过上述技术方案,不需要额外的训练样本即可实现高效率高精度的多模态识别,不仅考虑了全局的图像与文本匹配,还引入了基于局部嵌入的细粒度对齐机制。这种细粒度对齐能够捕捉到跨模态内容之间的微妙差异,实现更精确的模态对齐。

    基于跨特征类型交互与多尺度融合的人脸表情识别方法

    公开(公告)号:CN115620366A

    公开(公告)日:2023-01-17

    申请号:CN202211277059.6

    申请日:2022-10-18

    Abstract: 本发明公开了基于跨特征类型交互与多尺度融合的人脸表情识别方法,属于图像处理与计算机视觉技术领域,公开了以下步骤:获取待识别表情的人脸的RGB图,并由所述RGB图生成关键点热图;将所述RGB图和所述关键点热图输入至预先训练好的人脸表情识别模型中,得到人脸表情识别结果,在提取RGB图和关键点热图的特征向量时,存在跨特征类型的交互和多尺度融合,使得两种特征类型能够更好地互补,相比特征提取阶段只存在单向交互或不存在交互的深度网络,本发明的人脸表情识别网络更具有鲁棒性,从而有效地提高了人脸表情的识别性能。

    一种基于3D人脸模型的视频监控动态人脸识别方法及装置

    公开(公告)号:CN112528902A

    公开(公告)日:2021-03-19

    申请号:CN202011501892.5

    申请日:2020-12-17

    Applicant: 四川大学

    Abstract: 本发明公开了一种基于3D人脸模型的视频监控动态人脸识别方法及装置,包括:提取采集端采集到的待识别二维人脸图像的二维特征,并将其转换为三维人脸图像,提取转换得到的三维人脸图像的三维特征,串联得到包含二维信息与三维信息的第一融合特征;同时,提取识别端预存的三维人脸模型的三维信息,并将预存三维人脸模型投影至二维投影图像,提取投影图像的二维特征,串联得到包含二维信息与三维信息的第二融合特征,最后利用两个融合特征进行人脸识别;相应的融合特征在二维纹理信息基础上充分融合了三维形状信息,改善只利用二维纹理信息进行识别所存在的无法在复杂环境下识别成功的问题,有效提高识别的准确率、保证识别算法的鲁棒性。

    基于深度网络层次化与多任务训练的显著性物体检测方法

    公开(公告)号:CN109919059B

    公开(公告)日:2021-01-26

    申请号:CN201910143226.X

    申请日:2019-02-26

    Applicant: 四川大学

    Inventor: 傅可人 赵启军

    Abstract: 本发明公开了图像处理与计算机视觉技术领域的一种基于深度网络层次化与多任务训练的显著性物体检测方法,步骤包括:1、确定与显著性物体检测任务相关联的一个或多个任务;2、选取多任务训练图片;3、对层次化特征的深度神经网络进行联合训练,得到优化后的层次化特征的深度神经网络,所述层次化特征的深度神经网络采用层次化特征的深度神经网络架构;4、输入图像到优化后的层次化特征的深度神经网络,得到显著性物体检测结果。本发明利用多任务联合训练并融合了深度神经网络的层次化特征,实现了显著性物体检测更精确地定位,以及更加准确细致的物体边缘刻画。

    一种无需相位展开的三维人脸建模方法及系统

    公开(公告)号:CN109903377A

    公开(公告)日:2019-06-18

    申请号:CN201910150455.4

    申请日:2019-02-28

    Abstract: 本发明公开了一种无需相位展开的三维人脸建模方法及系统,该方法通过多帧条纹结构光场所蕴含的相位信息对目标目标人脸表面进行标记,从相机拍摄的多帧人脸纹理图中提取人脸特征点并生成人脸几何信息约束条件,利用人脸的几何信息对双目立体匹配的过程进行约束,直接使用截断相位替代绝对相位进行立体匹配来计算视差图,通过无需进行相位展开的立体匹配方法得到高精度、高可靠性的视差图,进而重建三维人脸模型。本发明无需投影附投影并拍摄附加结构光场来辅助相位展开,有效减少了三维人脸建模所需投影和拍摄结构光场数目,缩短建模图像采集时间,并有效保证了建模精度。

Patent Agency Ranking