公开(公告)号：CN118736648A

公开(公告)日：2024-10-01

申请号：CN202410927051.2

申请日：2024-07-11

Applicant: 科大讯飞股份有限公司

Inventor： 林垠 ,  刘昕冉 ,  黄启东 ,  殷保才 ,  殷兵

IPC: G06V40/16 ,  G06V10/80 ,  G06V10/74 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/09

Abstract: 本申请公开了一种人脸识别模型训练方法、人脸识别方法、装置、相关设备及计算机程序产品，对于获取的在通用人脸数据集上预训练后的通用人脸识别模型，在异质人脸数据集上进行部分参数的微调训练，提高异质人脸场景下的识别准确率。训练过程冻结了通用人脸识别模型中主干特征提取模块内主干网络的参数，对新增的微调分支网络等少量参数进行微调，提高模型的训练效率。同时，通过设置新增的微调分支网络与主干网络并行相连，训练过程既能保留通用人脸识别模型的核心参数，又实现了从通用人脸识别场景到异质人脸识别场景的迁移适应，确保训练后的模型在两种场景下具有较好的识别性能。

公开(公告)号：CN118618231A

公开(公告)日：2024-09-10

申请号：CN202411105233.8

申请日：2024-08-13

Applicant: 科大讯飞股份有限公司

Inventor： 林垠 ,  殷兵 ,  沙文 ,  殷保才 ,  刘丹 ,  王金钖

IPC: B60R16/023 ,  B60W50/08 ,  G06N5/04 ,  G06N3/0455 ,  G06F18/241 ,  G06F18/25 ,  G06F18/27

Abstract: 本申请公开了一种汽车座舱监控方法、装置、相关设备及计算机程序产品，涉及汽车座舱监控技术领域，方法包括：获取对汽车座舱环境监测到的多模态信息；按照预先配置的各类型的监测任务，在多任务提示指令集合中获取与每一监测任务对应的提示指令；利用多模态信息及每一监测任务的提示指令，生成每一监测任务的监测结果。本申请能够整合汽车座舱内不同的监测任务，不同监测任务可以共享多模态信息，充分发挥各模态信息间的互补作用，优化了不同监测任务间的互补性，提升了整体监控性能。此外，本申请通过统一的框架可以实现跨任务的处理，无需单独部署各独立的任务功能模块，从而减轻了相关功能模型部署时的负担。

公开(公告)号：CN118410345A

公开(公告)日：2024-07-30

申请号：CN202410436018.X

申请日：2024-04-11

Applicant: 科大讯飞股份有限公司

Inventor： 张海川 ,  林垠 ,  程虎 ,  殷兵 ,  刘聪

IPC: G06F18/22 ,  G06F18/25 ,  G06N3/0455

Abstract: 本申请提供一种数据匹配方法、装置、设备、存储介质及产品，该方法包括：分别获取第一模态数据的编码和第二模态数据的编码，通过对所述第一模态数据和所述第二模态数据进行联合编码，得到所述第一模态数据的共享编码和所述第二模态数据的共享编码；对所述第一模态数据的编码与所述第一模态数据的共享编码进行融合，得到所述第一模态数据的融合编码，对所述第二模态数据的编码与所述第二模态数据的共享编码进行融合，得到所述第二模态数据的融合编码；基于所述第一模态数据的融合编码和所述第二模态数据的融合编码，确定所述第一模态数据和所述第二模态数据的匹配结果。本申请可以更准确地度量不同模态数据之间的相似性，得到更准确的匹配结果。

公开(公告)号：CN118155275A

公开(公告)日：2024-06-07

申请号：CN202410155047.9

申请日：2024-02-02

Applicant: 科大讯飞股份有限公司

Inventor： 林垠 ,  陈叶瀚森 ,  沙文 ,  殷兵 ,  吴子扬

IPC: G06V40/20 ,  G06V40/10 ,  G06V10/774 ,  G06V10/82

Abstract: 本申请提出一种行人重识别模型的训练方法、行人重识别方法及相关装置，行人重识别模型的训练方法通过图像编码器提取样本人体图像的图像特征，通过文本编码器提取行人重识别提示词的文本特征；行人重识别提示词包括可学习特征，可学习特征通过对齐图像特征以及文本特征确定；以基于图像特征和文本特征确定的行人识别结果与样本人体图像对应的行人识别标签相一致为目标，对图像编码器的参数进行优化。如此设置，从文本和图像两个模态对模型进行训练，提高模型的特征提取能力，而且在行人重识别提示词中引入通过对齐图像特征以及文本特征得到的学习特征，使行人重识别提示词对应的文本特征更适用于行人重识别任务，提高行人重识别技术的识别精度。

公开(公告)号：CN117911321A

公开(公告)日：2024-04-19

申请号：CN202311685627.0

申请日：2023-12-04

Applicant: 科大讯飞股份有限公司

Inventor： 王根 ,  张裕顺 ,  沙文 ,  林垠 ,  殷兵 ,  殷保才 ,  胡金水

IPC: G06T7/00 ,  G06V30/413 ,  G06V30/162 ,  G06V30/18

Abstract: 本申请公开了一种图文混排图像的评测方法、装置、设备和存储介质，其中，图文混排图像的评测方法包括：基于图文混排图像进行文本检测，至少得到文本轮廓信息；基于文本轮廓信息，得到图像掩膜，并基于图像掩膜，确定图文混排图像中的图形区域和文本区域；基于由文本区域得到的识别文本、图形区域的原始图形分别进行评测，得到图文混排图像的评测结果。上述方案，能够提升图文混排图像的评测效率和评测准确率。

公开(公告)号：CN117765080A

公开(公告)日：2024-03-26

申请号：CN202311812674.7

申请日：2023-12-25

Applicant: 科大讯飞股份有限公司

Inventor： 李志强 ,  沙文 ,  程虎 ,  林垠 ,  殷兵

IPC: G06T7/73 ,  G06V10/25 ,  G06V10/74 ,  G06V10/75

Abstract: 本发明提供一种显示方法、装置、电子设备和存储介质，其中方法包括：获取相机当前视角下的图像；确定图像的感兴趣区域，并对感兴趣区域进行特征提取，得到当前视角下的特征向量；基于预设位置特征库，获取当前视角下的特征向量对应的目标变换矩阵，预设位置特征库基于各视角下的标定图像对应的特征向量和变换矩阵构建；基于目标变换矩阵，调整图像对应的视线数据，并应用调整后的视线数据进行抬头显示。本发明提供的方法、装置、电子设备和存储介质，可以在驾驶员位置固定但相机视角可手动调整的条件下，实现对抬头显示位置进行自适应矫正，提供稳定可靠的智能座舱抬头显示功能。

公开(公告)号：CN117333514A

公开(公告)日：2024-01-02

申请号：CN202311636539.1

申请日：2023-12-01

Applicant: 科大讯飞股份有限公司

Inventor： 龚苏明 ,  于振华 ,  王金钖 ,  林垠 ,  沙文

IPC: G06T7/246 ,  G06T7/223 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本申请公开了一种单目标视频跟踪方法、装置、存储介质及设备，该方法包括：首先在获取到包含待跟踪的单目标对象的目标视频后，从目标视频中确定出包含第一帧图像对应的图像跟踪模板的M张图像跟踪模板，然后提取M张图像跟踪模板的模板图像特征，以及提取目标视频中每一帧搜索图像的搜索图像特征，并将模板图像特征和搜索图像特征输入预先构建的编码器网络进行编码，得到编码特征；接着将编码特征和开始标志位向量输入预先构建的解码器网络进行解码，预测出编码特征对应的搜索图像中单目标对象的位置和尺寸，从而能够提高目标视频中每一帧搜索图像中对于单目标视频跟踪结果的准确性。

公开(公告)号：CN116883700A

公开(公告)日：2023-10-13

申请号：CN202310798362.9

申请日：2023-06-29

Applicant: 科大讯飞股份有限公司

Inventor： 程虎 ,  殷兵 ,  殷保才 ,  林垠 ,  刘文超

IPC: G06V10/75 ,  G06V10/40 ,  G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请提供了图像处理方法、装置、设备及存储介质，具体实现方案为：获取第一图像中的各个图形元素的属性信息，所述各个图形元素构成所述第一图像中的第一图形对象，根据所述第一图像中的各个图形元素的属性信息，确定所述第一图形对象的图结构信息，以及，获取第二图像中的第二图形对象的图结构信息；至少根据所述第一图形对象的图结构信息，以及所述第二图形对象的图结构信息，从所述第二图形对象中确定出与所述第一图形对象匹配的图形区域。根据本申请的技术方案，能够有效提升拼图图像匹配的准确性。

公开(公告)号：CN116051604A

公开(公告)日：2023-05-02

申请号：CN202310074684.9

申请日：2023-01-16

Applicant: 科大讯飞股份有限公司

Inventor： 张亚峰 ,  林垠 ,  李超龙 ,  沙文 ,  殷保才

IPC: G06T7/246 ,  G06V40/16 ,  G06V10/74

Abstract: 本发明提供一种人脸跟踪方法、装置、电子设备及存储介质，所述方法包括：获取视频帧序列中的当前帧，并判断所述当前帧的类型；若所述当前帧是检测帧，则对所述检测帧进行人脸检测，并根据人脸检测的结果进行不同处理，包括：未检出人脸时根据人脸关键点信息执行相似度计算，以及检出人脸时根据深度信息选择最优人脸；若所述当前帧是跟踪帧，则对所述跟踪帧进行人脸标定，并根据人脸标定的结果对当前帧的人脸关键点信息和上一帧的人脸关键信息的相似度计算；当所述检测帧或所述跟踪帧执行相似度计算的结果满足第一预设要求时，获取跟踪框以执行跟踪操作。由于引入了相似度和人脸区域深度信息，使得本发明即使在复杂的场景下，也能实现正确跟踪。

公开(公告)号：CN115546875B

公开(公告)日：2023-04-04

申请号：CN202211381696.8

申请日：2022-11-07

Applicant: 科大讯飞股份有限公司

Inventor： 沈锦瑞 ,  林垠 ,  殷保才 ,  胡金水 ,  殷兵

IPC: G06V40/16 ,  G06V20/59 ,  G06V10/778 ,  G06V10/80

Abstract: 本发明公开了一种基于多任务的座舱内行为检测方法、装置以及设备，座舱内行为检测方法包括：接收座舱内的实时图像；识别所述实时图像中的人脸区域，扩大所述人脸区域形成的第一外轮廓，并提取扩大后的第一外轮廓所围区域的图像，作为输入图像；将所述输入图像输入多线索识别模型，获得每个目标行为的第一检测结果；所述多线索识别模型中，每个目标行为对应一个线索；对每个目标行为的第一检测结果进行分析，并判断是否满足提醒条件；若满足，则输出针对所述目标行为的提醒信息。本发明既充分利用了人脸全图语义信息，降低了误触发率，又减少了识别模型的数量，大大提高了车机的运行效率。