公开(公告)号：CN117594054A

公开(公告)日：2024-02-23

申请号：CN202311668815.2

申请日：2023-12-07

Applicant: 安徽信息工程学院

Inventor： 许苏魁

IPC: G10L21/0208 ,  G10L21/0232 ,  G10L19/02 ,  G10L25/30 ,  G06N3/044

Abstract: 本发明公开了一种基于循环神经网络和全子频带特征的实时语音降噪方法，包括S1、搜集纯净语音、不同类型的噪声以及不同尺寸的房间冲激响应；S2、合成对应的带噪语音；S3、对其预设参数做短时傅里叶变换，得到其时频域的表示；S4、在每个频点联合其相邻的频点一起构成子频带特征；S5、把常规的全频带特征融合子频带特征作为最终的模型输入特征；S6、分别对全频带特征和子频带特征建立模型并且做合适的融合以充分利用；S7、依据S1‑S6训练出完整的降噪模型，对真实的带噪语音进行测试；S8、进行提升音质。本发明采用循环神经网络架构，融合了子频带特征以捕获更多的频谱信息，做到按帧实时处理，降低实时通信、语音会议场景下的延时。

公开(公告)号：CN115687720A

公开(公告)日：2023-02-03

申请号：CN202211307926.6

申请日：2022-10-24

Applicant: 安徽信息工程学院

Inventor： 万家山 ,  吴锦华 ,  许苏魁

IPC: G06F16/9035 ,  G06F16/9038 ,  G06Q50/20 ,  G06V10/762 ,  G06V10/82

Abstract: 本发明公开了一种融合课堂行为序列的在线多模态资源混合推荐方法，包括下列步骤：步骤1：从视频中筛选采集帧图像，并对帧图像中的课堂行为进行标注；步骤2：进行多模态知识本体建模；步骤3：基于YOLO‑V5网络模型对学生课堂行为进行识别表征建模；步骤4：将重构的行为特征序列通过Baum‑welch算法进行训练，得到基于课堂行为的多状态GMM‑HMM分类模型；步骤5：引入课堂行为、认知水平和学习风格三类数据建立混合推荐模型，并结合协同过滤算法，给出资源推荐列表TOP‑N。本发明引入课堂行为数据丰富学习者表征信息，从而实现对在线课程资源的更加精准化的推荐。

公开(公告)号：CN119724161A

公开(公告)日：2025-03-28

申请号：CN202411878653.X

申请日：2024-12-19

Applicant: 安徽信息工程学院

Inventor： 许苏魁

IPC: G10L15/02 ,  G10L15/16 ,  G10L25/45 ,  G10L25/24 ,  G10L25/30

Abstract: 本发明公开了一种基于有限状态机的自定义语音唤醒词检测方法，包括如下步骤：利用互联网上的开源中文语音数据集训练Transformer网络模型；对输入的语音信号进行分帧加窗处理，并提取对应的特征；将提取的特征输入到Transformer网络模型中，生成帧概率张量；配置目标唤醒词内容并获得目标唤醒词对应的声韵母拼音序列，并构建有限状态机解码网络；对帧概率张量进行处理生成新的帧概率张量；将新的帧概率张量输入有限状态机解码网络，运行维特比算法，搜索最优音素路径；计算所有音素状态得分的平均值，与预设门限值进行比较，当超过时激活唤醒词。本发明结合Transformer模型和有限状态机技术，实现自定义语音唤醒词检测，具备灵活配置、低功耗运行、高精度和强鲁棒性的优点。

公开(公告)号：CN119312043A

公开(公告)日：2025-01-14

申请号：CN202411354254.3

申请日：2024-09-27

Applicant: 安徽信息工程学院

Inventor： 许苏魁

IPC: G06F18/20 ,  G06F18/241 ,  G06F18/27 ,  G06F18/25 ,  G06V40/16 ,  G10L25/30 ,  G06F40/16 ,  G06F40/30 ,  G06N3/045

Abstract: 本发明提供了一种基于多模态大模型特征融合的情感识别方法，包括以下步骤：步骤一，用摄像头记录下采集人员的面部表情的变化，同时用录音设备录制下所有的语料信息，将音频语料通过开源的语音识别引擎得到对应的文本；步骤二，通过步骤以得到的视频、音频数据以及文本信息得到三组词向量；步骤三，将三组词向量通过增强的方式融合，然后接分类器进行情感分类模型的训练，将训练好的情感分类模型存储在本地，该模型记为G。本发明综合了三种不同模态大模型提取的特征，避免了单一维度特征的片面，不同模态的特征之间可以互补增强。

公开(公告)号：CN117635587A

公开(公告)日：2024-03-01

申请号：CN202311668708.X

申请日：2023-12-07

Applicant: 安徽信息工程学院

Inventor： 许苏魁

IPC: G06T7/00 ,  G06T7/11 ,  G06T7/70

Abstract: 本发明公开了一种基于图像分割技术的螺母等紧固件松紧状态判断的方法，收集大量画线的紧固件，并对其拍摄以收集大量图片，构建通用的训练集合，再对图片进行像素层面的标注以训练基于神经网络的目标分割模型，在像素点的层面得到标记线的区域，利用训练好的分割模型对紧固件拍摄图片进行测试，得到不同区域里的标记线像素点，分别计算不同区域标记线像素其按主成分分析法得到的第一主成分方向作为其当前方向，再通过数学公式几何关系计算不同区域的标记线角度差异以自动的获取此时紧固件的状态；通过本发明中的方法，无需人工去排查紧固件状态，大大降低了工作量，且提高了效率，同时也降低了人工爬高监测的风险，提升了安全性。