-
公开(公告)号:CN104183239A
公开(公告)日:2014-12-03
申请号:CN201410361706.0
申请日:2014-07-25
Applicant: 南京邮电大学
Abstract: 本发明公开了基于加权贝叶斯混合模型的与文本无关的说话人识别方法,该方法首先对用于训练的语音信号集合进行预处理和特征提取,接着在训练过程中采用加权贝叶斯混合模型来描述训练集合,通过训练分别估计出加权贝叶斯混合模型中的参数值以及随机变量分布,从而得到与每一说话人相对应的加权贝叶斯混合模型;在识别时,将经过预处理和特征提取的带识别的语音,计算其关于训练好的每一说话人相对应的加权贝叶斯混合模型的边缘似然值,将最大边缘似然值对应的说话人作为识别结果。本发明能有效地提高与文本相关说话人识别系统的识别正确率,避免传统方法中容易出现的过拟合和欠拟合问题,并且使得先验信息和训练数据的相对权重更容易和灵活地控制。
-
公开(公告)号:CN102129860B
公开(公告)日:2012-07-04
申请号:CN201110085844.7
申请日:2011-04-07
Applicant: 南京邮电大学
IPC: G10L17/00
Abstract: 本发明公开了一种基于无限状态隐马尔可夫模型的与文本相关的说话人识别方法,利用本方法可以避免传统的隐马尔可夫模型容易出现的过拟合或欠拟合数据的问题。本发明首先对用于训练的语音信号集合进行预处理和特征提取,接着在训练过程中采用了无限状态隐马尔可夫模型来描述训练集合,该模型在训练数据到来之前具有具有无限状态数目,并且每个状态所对应的输出概率分布函数用学生氏t混合模型来表示,在训练数据到来之后,通过计算得到该模型中的参数值和随机变量的分布情况;在识别时,将经过预处理和特征提取的带识别的语音,计算其关于训练好的每一说话人模型的似然值,将最大的似然值对应的说话人作为识别结果。本发明的方法可以有效地提高与文本相关的说话人识别系统的识别正确率,此外系统对噪声也具有较好的鲁棒性。
-
公开(公告)号:CN114238431B
公开(公告)日:2025-05-02
申请号:CN202111367618.8
申请日:2021-11-18
Applicant: 南京邮电大学
IPC: G06F16/2458 , G06F16/26 , G06Q10/0631 , G06Q50/20
Abstract: 本发明公开了面向个性化学习的在线教育资源推荐方法,包括如下步骤:(1)采集学生观看教育视频的学习行为记录;(2)基于教育心理学的知识计算学生学习能力,根据学生学习教育视频数量与学习能力,用聚类方法对学生群体进行分类;(3)提取教育视频的属性并计算难度,形成教育视频的特征向量;(4)以教育视频的特征向量为输入,利用LinUCB算法为学生提供合适难度的教育视频,形成最终的推荐列表。本发明基于LinUCB算法提出了面向个性化学习的在线教育资源推荐方案,提高了计算速度和计算资源的利用率;根据学生各自的学习能力,结合注意力机制设计个性化探索系数,实现了自适应的个性化探索机制。
-
公开(公告)号:CN114595739B
公开(公告)日:2024-07-02
申请号:CN202210031393.7
申请日:2022-01-12
Applicant: 南京邮电大学
IPC: G06F18/10 , G06F18/214 , G06N3/0464 , G06F18/213 , G06N3/096 , G06V10/82 , G06V10/94 , G06V10/774
Abstract: 本申请涉及一种图像‑触觉信号相互重建方法和装置。该方法包括:通过接收到待重建信号,待重建信号为视觉信号或图像信号;将待重建信号输入到训练好的深度重建网络模型中进行数据重建,获得重建后的信号;训练深度重建网络模型的步骤包括:搭建基于自编码器构成的深度重建网络模型,将数据集划分为训练集和测试集对深度重建网络模型进行第一阶段和第二阶段的训练;第一阶段和第二阶段的训练交替重复进行,直至深度重建网络模型的训练结果收敛,获得初步深度重建网络模型;将测试集中图像‑触觉信号输入初步深度重建网络模型进行测试,获得训练好的深度重建网络模型。提升了跨模态重建方法接收端信号恢复的泛化能力和恢复质量。
-
公开(公告)号:CN114842384B
公开(公告)日:2024-05-31
申请号:CN202210476817.0
申请日:2022-04-30
Applicant: 南京邮电大学
IPC: G06V20/40 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种面向6G的触觉模态信号重建方法,此重建方法包括,采集数据样本,构建包含视频和触觉模态信号的数据集;通过利用两种模态信号间的语义关联性,基于深度学习构建具有内在语义关联驱动下的跨模态信号重建模型;使用数据集对跨模态信号重建模型进行训练,直至重建信号质量满足要求或偏差无法继续优化;本发明中为面向6G跨模态应用场景,构建包括视频和触觉的模态数据集VisTouch;基于深度学习技术将具有语义关联性的视频模态信号重建为触觉模态信号;为提升信号重建质量,利用对抗损失与均方误差损失这两类损失函数作为目标函数,并基于VisTouch进行训练,验证了该重建方法的准确性。
-
公开(公告)号:CN117494059A
公开(公告)日:2024-02-02
申请号:CN202311495480.9
申请日:2023-11-10
Applicant: 南京邮电大学
IPC: G06F18/26 , G06F18/214 , G06N3/045 , G06N3/0499 , G06N3/084 , G06Q50/20
Abstract: 本发明公开了一种基于注意力知识追踪的学习路径推荐方法,该方法同时考虑知识水平与知识结构对路径质量的影响,主要分为知识追踪、搜索空间优化与学习路径推荐三个部分。首先通过学习者的历史练习数据来训练知识追踪模型,并融入了注意力机制以精确预测学习者的知识水平变化。其次,基于知识结构在知识图谱中选取与上一步所学知识点相关联的知识点作为推荐候选集,优化学习路径推荐算法的搜索空间。最后,利用训练好的知识追踪模型预测学习者对候选集中知识点的掌握水平,将其作为多种约束规则的重要评判标准,从可解释性、合理性、有效性三个层面推出下一步推荐的知识点,最终形成动态的学习路径。
-
公开(公告)号:CN117425212A
公开(公告)日:2024-01-19
申请号:CN202311372688.1
申请日:2023-10-23
Applicant: 南京邮电大学
IPC: H04W72/0457 , H04W72/0453 , H04W72/54 , H04N19/70 , H04W4/70
Abstract: 本发明公开了一种基于QoE的多模态码流模式选择与资源分配方法,该方法首先给出了视频、音频和触觉三个维度上反映用户体验的量化指标;然后将D2D通信与SVC编码、NOMA技术结合,针对不同场景下的多模态码流,设计对应的通信传输模式;接着,将所设计的传输模式选择与资源分配建立成问题模型,使用MOEA/D多目标遗传算法进行求解该问题模型,得到最优的系统模型。最终,通过在音视频满足度、触觉平均时延、系统吞吐量和能量利用率四个指标上的对比实验与分析,验证该方法能够提升系统性能。本发明很好地解决多模态码流难以高效传输的难点问题,确保了多模态用户在视、听、触多模态码流应用场景下的用户体验。
-
公开(公告)号:CN116385942A
公开(公告)日:2023-07-04
申请号:CN202310428672.1
申请日:2023-04-20
Applicant: 南京邮电大学
IPC: G06V20/40 , G06V10/80 , G06V40/00 , G06V10/764
Abstract: 本发明公开一种多特征融合的洗手七步法识别方法、装置、设备及介质,该方法包括:获取待识别洗手视频;确定所获取的待识别视频的手部关键点数据;对所述手部关键点数据进行多特征融合,得到手部关键点融合特征;基于所述手部关键点融合特征识别洗手七步法的步骤。通过本发明提供的多特征融合的洗手七步法识别方法、装置、设备及介质,可以实现洗手七步法每一个洗手步骤的准确识别,并且具有一定的容错性。
-
公开(公告)号:CN113628294B
公开(公告)日:2023-06-20
申请号:CN202110776726.4
申请日:2021-07-09
Applicant: 南京邮电大学
IPC: G06T11/00 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/045 , G06N3/0475 , G06N3/094 , G06F30/27
Abstract: 本发明公开了一种面向跨模态通信系统的图像重建方法,所述方法利用跨模态通信系统中接收端所接收到完整触觉信号对传输过程中所存在的缺失图像进行重建,同时结合注意力机制构造跨模态交互网络,解决传统生成模型只能训练成对样本的局限性。本发明还公开了一种面向跨模态通信系统的图像重建装置。本发明充分利用不同模态数据间的语义相关性,针对未配对数据实现触觉信号到图像的跨模态生成,克服跨模态通信系统中用于实际的训练触觉信号—图像数据难以成对采集的问题,显著提高了生成图像的质量和类别精度。
-
公开(公告)号:CN115512110A
公开(公告)日:2022-12-23
申请号:CN202211163664.0
申请日:2022-09-23
Applicant: 南京邮电大学
Abstract: 本发明公开一种涉及跨模态注意力机制的医学图像肿瘤分割方法,包括以下步骤:获取正电子发射型计算机断层显像PET图像和电子计算机断层扫描CT图像,将PET图像和CT图像横向缩放为同分辨率的图像数据对;将图像数据对输入至训练好的跨模态图像分割模型,生成目标分割图像;其中,跨模态图像分割模型包括图像特征提取模块、图像特征融合模块和跨模态语义增强模块,所述跨模态语义增强模块包括一组扩展编码器和基于聚合注意力单元的语义融合网络,跨模态图像分割模型训练通过历史正电子发射型计算机断层显像PET图像和电子计算机断层扫描CT图像训练。本发明提供的一种涉及跨模态注意力机制的医学图像肿瘤分割方法,能够实现跨模态的医学图像精准分割。
-
-
-
-
-
-
-
-
-