公开(公告)号：CN116705002A

公开(公告)日：2023-09-05

申请号：CN202310763651.5

申请日：2023-06-27

Applicant: 北京工商大学

Inventor： 于重重 ,  徐小龙 ,  钱兆鹏 ,  于佳圻

IPC: G10L15/00 ,  G10L15/06 ,  G10L15/02 ,  G10L15/16 ,  G10L15/04 ,  G10L15/26

Abstract: 本发明公布了一种基于视听多模态融合的土家语语音识别方法，构建结合注意力机制与动态梯度下降DGM策略的基于视听多模态融合的土家语语音识别模型，对语音进行识别；在模型训练时使用视频数据对音频数据进行增强；构建的模型包括：特征提取模块、视听融合模块、动态梯度下降模块、土家语识别模块；视听融合模块是基于多头注意力机制，完成视频特征和音频特征的数据融合；动态梯度下降模块用于调控各模态的优化速度，结合视听融合模块完成模型的训练；使用链接时序分类CTC方法实现待识别语音的识别。本发明能够提高土家语语音识别的准确率。

公开(公告)号：CN116956944A

公开(公告)日：2023-10-27

申请号：CN202310960646.3

申请日：2023-08-01

Applicant: 北京工商大学

Inventor： 钱兆鹏 ,  于重重 ,  徐小龙 ,  秦汉忠

IPC: G06F40/49 ,  G06F40/58 ,  G06F40/211 ,  G06F40/284 ,  G06N3/045 ,  G06N3/082

Abstract: 本发明公布了一种融合句法信息的濒危语言翻译模型方法，包括：采用半自动化方式构建依存句法标准格式的濒危语言依存结构树库；基于双仿射分类器对濒危语言进行依存句法分析，构建基于双仿射分类器的濒危语言依存句法分析模型；将濒危语言依存结构树库中包含的词序索引、词性标注、支配词索引、依存句法关系标注作为句法特征加入到机器翻译模型编码端，构建濒危语言‑汉语神经机器翻译模型。本发明通过句法信息能够更加准确的完成对于濒危语言的翻译，并且克服了人工标注濒危语言语料费时费力、需要大量专业知识、数据量较少、使用常规神经机器翻译方法的效果较差等不足，大大提升了濒危语言翻译的有效性。

公开(公告)号：CN115328313A

公开(公告)日：2022-11-11

申请号：CN202210985906.8

申请日：2022-08-16

Applicant: 北京工商大学

Inventor： 钱兆鹏 ,  徐小龙 ,  于重重 ,  孙雨童 ,  徐玄军

IPC: G06F3/01 ,  G06F3/04815 ,  A61F9/08

Abstract: 本发明公布了一种用于视觉障碍者的避障导航行进系统及方法，基于STM32F427单片机、GPS模块、高清双目摄像头眼镜，设计包括智能眼镜模块、智能避障手套模块和智能手机端的避障导航行进系统；智能手机端中安装用于上传行进目的地的智能手机端导航APP；通过智能眼镜模块进行三维场景重建，并将三维场景重建所得到的信息传输往智能避障手套端并转化为触摸信息；使用者通过智能避障手套所提供的触感指引来进行避障行进。本发明提供的避障导航行进系统符合人体工程学的设计，系统稳定性好，携带方便，实用性高。