公开(公告)号：CN115424356B

公开(公告)日：2023-04-04

申请号：CN202211381906.3

申请日：2022-11-07

Applicant: 科大讯飞股份有限公司

Inventor： 沈锦瑞 ,  林垠 ,  殷保才 ,  胡金水 ,  殷兵

IPC: G06V40/20 ,  G06V10/82 ,  G06V10/764 ,  G06F3/01 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种座舱内手势交互方法及装置，座舱内手势交互方法包括：接收座舱内的实时图像；将实时图像输入手势识别模型，获得手势识别模型输出的第一手势类别检测结果和第一位置类别检测结果；依据第一座舱位置上第一手势对应的控制指令控制座舱内的设备；其中，对于不同的第一座舱位置，相同的第一手势对应的控制指令不同。本发明通过手势识别模型直接获得手势类别检测结果，避免两阶段手势识别导致的车机工作压力，并通过识别手势动作人所在的座舱位置，为不同座舱位置上的相同手势配置不同的功能，提高了手势交互的丰富度。

公开(公告)号：CN115761892A

公开(公告)日：2023-03-07

申请号：CN202211486388.1

申请日：2022-11-24

Applicant: 科大讯飞股份有限公司

Inventor： 林垠 ,  沈锦瑞 ,  殷保才 ,  胡金水 ,  殷兵

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/08 ,  G06N3/09

Abstract: 本发明公开了一种基于流式图像的手势识别模型训练方法、装置及电子设备，本发明的主要构思在于，一方面通对连续帧图像进行信息流式读取、特征流式提取、结果流式输出，使得训练过程接近真实的应用场景，消除了训练与推理不匹配问题，使得训练过程更接近实际应用部署；另一方面在上述流式基础训练模式下，提出以此方式训练第一、第二手势识别模型，且在该第一、第二手势识别模型之间建立预设的互学习策略，使得用于最终部署的仅依据历史图像信息的第二手势识别模型能够具备预测未来信息的能力，从而既提升了手势识别模型的识别效果，又保障了推理效率更为接近实时，进而能够有效提升人机交互中手势交互的可用性。

公开(公告)号：CN115546875A

公开(公告)日：2022-12-30

申请号：CN202211381696.8

申请日：2022-11-07

Applicant: 科大讯飞股份有限公司

Inventor： 沈锦瑞 ,  林垠 ,  殷保才 ,  胡金水 ,  殷兵

IPC: G06V40/16 ,  G06V20/59 ,  G06V10/778 ,  G06V10/80

Abstract: 本发明公开了一种基于多任务的座舱内行为检测方法、装置以及设备，座舱内行为检测方法包括：接收座舱内的实时图像；识别所述实时图像中的人脸区域，扩大所述人脸区域形成的第一外轮廓，并提取扩大后的第一外轮廓所围区域的图像，作为输入图像；将所述输入图像输入多线索识别模型，获得每个目标行为的第一检测结果；所述多线索识别模型中，每个目标行为对应一个线索；对每个目标行为的第一检测结果进行分析，并判断是否满足提醒条件；若满足，则输出针对所述目标行为的提醒信息。本发明既充分利用了人脸全图语义信息，降低了误触发率，又减少了识别模型的数量，大大提高了车机的运行效率。

公开(公告)号：CN112712571A

公开(公告)日：2021-04-27

申请号：CN202011566751.1

申请日：2020-12-25

Applicant: 科大讯飞股份有限公司

Inventor： 林垠 ,  刘炎 ,  何山 ,  胡金水

IPC: G06T11/00

Abstract: 本发明公开了一种基于视频的物体平面贴图方法、装置以及设备。本发明在用户参与交互的前提下不再要求复杂的操作以完成平面选择，而是通过第一阶段由视频物体平面检测技术结合用户简单的交互操作初步选择出候选平面区域，以及第二阶段根据候选平面区域在多帧图像中的图像特征判定出候选平面区域是否可用，从而实现待贴图平面的确定，本发明既可以极大简化用户交互流程的复杂度，又可以全面、可靠地获得待贴图平面区域的特征信息，并且利用图像自身信息进行植入可靠性判断，能够有效规避由于缺乏相关技术知识所带来的处理效果偏差。可见本发明在优化用户体验的同时，能够高效、便捷地确定出待贴图平面，进而极大提升图像植入的稳定性和有效性。