-
公开(公告)号:CN115019358A
公开(公告)日:2022-09-06
申请号:CN202110951389.8
申请日:2021-08-18
Applicant: 东南大学
Abstract: 本发明公开了一种真实场景下的多模态数据集的构建方法,该方法将慕课授课视频构建成包含音频、图像、视频三个模态的数据集;该方法使用多任务卷积神经网络进行人脸检测,使用FaceNet提取说话人特征并构建人脸库,在扫描视频的过程中逐步扩充完善人脸库,通过计算视频截取的人脸与人脸库中人脸的欧氏距离,对视频进行分类,并结合ffmpeg完成批量自动化视频分类和分割,构造出同时带有说话人面部视觉信息和说话人声音信息的数据集。本发明通过采集慕课网授课视频,保证了数据集的音频多样性和场景真实性,有助于训练音频相关深度学习模型的泛化性能;且全自动批处理方法提高了多模态数据集的构建效率。
-
-
公开(公告)号:CN110533683B
公开(公告)日:2022-04-29
申请号:CN201910817072.8
申请日:2019-08-30
Applicant: 东南大学
IPC: G06T7/136 , G06K9/62 , G06V10/764
Abstract: 本发明公开了一种融合传统特征与深度特征的影像组学分析方法,包括以下步骤:首先,提取感兴趣区域的一阶特征、形状特征和纹理特征等传统特征;其次,对提取出的原始特征集进行特征选择剔除冗余特征;然后,通过卷积神经网络模型提取深度特征;最后,通过将传统特征与深度特征进行融合,实现不同组别的分类。本发明比单独使用传统特征或深度特征相比获得更好的分类效果。
-
公开(公告)号:CN114287910A
公开(公告)日:2022-04-08
申请号:CN202111648999.7
申请日:2021-12-29
Applicant: 东南大学
IPC: A61B5/055
Abstract: 本发明提出了一种基于多阶段图卷积融合的脑功能连接分类方法,通过学习样本在不同子空间下的特征并利用图卷积融合达到脑功能连接分类的目的。首先,对原始的静息态功能磁共振数据进行处理,提取各样本显著的脑功能连接的特征作为各样本的原始特征;其次,利用深度子空间聚类理论提取原始特征在不同子空间维度下的特征;此外,利用数据多阶段的自表达属性自学习出可以更好表示样本间关系的拓扑图结构;最后,利用学习到的多阶段特征和拓扑图结构,采用图卷积融合的方式,输出分类结果。本发明不仅学习了多阶段的特征,并对其进行了有效融合,为脑功能连接的分类决策提供更为全面、不同阶段互补的信息,利用较少的监督信息即能取得良好的分类结果。
-
公开(公告)号:CN113823308A
公开(公告)日:2021-12-21
申请号:CN202111100709.5
申请日:2021-09-18
Applicant: 东南大学
IPC: G10L21/0208 , G10L21/0232 , G10L21/0264 , G10L25/30 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种仅使用单个带噪语音样本进行语音去噪的方法。该方法包括以下步骤:(1)对于干净的语音信号,分别叠加合成噪声和真实世界的不同噪声类型生成带噪语音样本;(2)对于单个带噪语音样本,使用一个语音下采样器生成一对语音训练样本;(3)将训练的输入语音转化为频谱图,然后输入去噪网络进行训练,该去噪网络在十层深度复数Unet的编码器和解码器之间叠加了复数两级Transformer模块;(4)训练使用的损失函数由基础损失和正则化损失组成,基础损失由网络特点决定,正则化损失可以防止单样本去噪训练出现过度平滑现象。对比使用干净语音以及使用一对带噪语音进行训练的传统方法,该方案在信噪比、语音质量感知评估、短时客观可懂度等多个评估指标上均取得了更好的结果。
-
公开(公告)号:CN113592836A
公开(公告)日:2021-11-02
申请号:CN202110898144.3
申请日:2021-08-05
Applicant: 东南大学
Abstract: 本发明提供了一种深度多模态图卷积的脑图分类方法,通过将不同模态间脑图进行融合达到脑图的分类目的。首先进行多模态脑拓扑图构建,利用静息态功能磁共振数据与弥散张量磁共振数据依据其生物学意义构建脑拓扑图;然后,进行多模态融合,包含功能‑结构融合和动态‑静态融合两个部分。本发明不仅使用了多种模态特征,并对其进行了融合,能够充分利用特征间的相似性和互补性,这使得进行脑图分类的结果更加准确。
-
公开(公告)号:CN110728685A
公开(公告)日:2020-01-24
申请号:CN201910892219.X
申请日:2019-09-20
Applicant: 东南大学
Abstract: 本发明公开了一种基于对角体素的局部二值模式纹理算子的脑组织分割方法,步骤如下所示:S1:对原始脑部磁共振扫描图像进行超体素聚类分割;S2:对超体素进行对角体素局部二值模式纹理特征提取;S3:根据所述对角体素局部二值模式纹理特征,以kNN为预测模型,进行特征匹配。本发明从三维的角度去整体地看待MRI数据,能够最大限度、高效地对有限的数据进行充分利用,从而可以很好地提取三维数据的特征,有效缓解MRI数据样本不足与机器学习需要大量训练数据的矛盾。
-
公开(公告)号:CN110533683A
公开(公告)日:2019-12-03
申请号:CN201910817072.8
申请日:2019-08-30
Applicant: 东南大学
Abstract: 本发明公开了一种融合传统特征与深度特征的影像组学分析方法,包括以下步骤:首先,提取感兴趣区域的一阶特征、形状特征和纹理特征等传统特征;其次,对提取出的原始特征集进行特征选择剔除冗余特征;然后,通过卷积神经网络模型提取深度特征;最后,通过将传统特征与深度特征进行融合,实现不同组别的分类。本发明比单独使用传统特征或深度特征相比获得更好的分类效果。
-
公开(公告)号:CN110148145A
公开(公告)日:2019-08-20
申请号:CN201910226802.7
申请日:2019-03-25
Applicant: 东南大学
Abstract: 本发明涉及一种融合边界信息的图像目标区提取方法及应用,引入双神经网络先后应用,即采用神经网络RCF模型,以及改进型语义分割网络SegNet,针对目标类型灰度图像中的目标区域图像实现高效提取,其中能够结合局部特征和全局特征,有效克服网络下采样过程中细节特征丢失的问题,因此将设计方案应用于脑组织提取过程中,对于比较难分割的脑组织边界区域,能得到更好的脑组织区域图像提取效果。
-
公开(公告)号:CN109472263A
公开(公告)日:2019-03-15
申请号:CN201811186880.0
申请日:2018-10-12
Applicant: 东南大学
Abstract: 本发明公开了一种结合全局和局部信息的大脑磁共振图像分割方法,包括:利用构建的端到端卷积神经网络对大脑磁共振图像进行分割,得到各类别的预测概率分布;对于大脑磁共振图像利用线性迭代聚类超体素算法生成超体素;将分割所得预测概率分布和所生成超体素融合得到分割结果的大脑磁共振图像,包括:找出超体素在各类别预测概率分布中的对应区域;统计找出各对应区域中背景、脑脊液、灰质和白质出现次数,并计算各个类别出现的比重;利用超体素类别比例方法对各类别预测概率分布重新赋值;求出其类别概率最大的一类,及将类别作为该像素点的类别标签,得到分割结果的大脑磁共振图像。本发明可提高分割精度,得到较好的大脑磁共振图像分割结果。
-
-
-
-
-
-
-
-
-