-
公开(公告)号:CN113205520B
公开(公告)日:2022-08-05
申请号:CN202110435343.0
申请日:2021-04-22
Applicant: 华中科技大学
Abstract: 本发明提供一种对图像进行语义分割的方法及系统,包括:确定样本图像;提取视觉特征和深度特征;对语义分割模型进行训练;包括编码模块和解码模块;编码模块将每组特征输入DFS,融合得到一组多模特征,通过CA对各组多模特征进行筛选,并将筛选后的多模特征输入DS学习各个深度特征对应的权重矩阵,基于权重矩阵和相应深度特征筛选出相应的关键深度特征,得到各组含有关键深度信息的多模特征;构建DDC,提取相关的语义特征,得到融合后的语义特征;解码模块基于融合后的语义特征对每组图像中的彩色图像进行语义分割;将待语义分割图像输入到训练好的语义分割模型,以进行语义分割。本发明的语义分割模型可以更加合理的利用深度信息。
-
公开(公告)号:CN109101907A
公开(公告)日:2018-12-28
申请号:CN201810849657.3
申请日:2018-07-28
Applicant: 华中科技大学
CPC classification number: G06K9/00791 , G06N3/0454
Abstract: 本发明公开了一种基于双边分割网络的车载图像语义分割系统,包含:数据存储模块,用于存储车载图像训练集和待测车载图像;双边分割网络包含空间通道和上下文通道,空间通道用于提取车载图像的空间信息,上下文通道用于提取车载图像的上下文语义信息;训练模块,用于利用车载图像训练集训练双边分割网络;语义分割模块,用于利用训练好的双边分割网络,预测待测车载图像,得到待测车载图像中每个像素所属的类别。本发明提出的包含空间通道与上下文通道的双边分割网络,所述空间通道用于提取图像的空间信息的同时保留足够的空间信息,所述上下文通道用于提取图像的上下文语义信息的同时保证足够大的感受野。
-
公开(公告)号:CN108596240B
公开(公告)日:2020-05-19
申请号:CN201810357683.4
申请日:2018-04-20
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于判别特征网络的图像语义分割方法,属于模式识别技术领域。本发明首先将样本集随机分成训练集合,对每个训练集合中的数据进行数据扩增;之后以全卷积网络为基础,分别构建两个子网络:平滑网络和边界网络,并将两个子网络组合成判别特征网络;再将训练集合中的数据输入判别特征网络,并采用正向传播算法和后向传播算法训练网络参数;之后利用交叉熵函数分别计算两个子网络的损失,采用随机梯度下降算法最小化损失函数;最后利用训练后的判别特征网络对待测图片进行分析,预测图像中每个像素所属的类别,形成图像语义分割图输出。本发明方法提出了一种判别特征网络用于,解决了类内不一致和类间差别小的问题。
-
公开(公告)号:CN111985542B
公开(公告)日:2022-07-12
申请号:CN202010778717.4
申请日:2020-08-05
Applicant: 华中科技大学
IPC: G06K9/62 , G06V10/774 , G06V10/40 , G06V10/82 , G06N3/04
Abstract: 本发明公开了一种代表性图结构模型、视觉理解模型的建立方法及应用,属于视觉理解领域,包括:建立代表性图结构模型;代表性图结构模型包括:特征映射模块,用于从输入特征图像中提取值分支、键值分支和序列分支,并生成偏移矩阵;采样模块,用于根据偏移矩阵对值分支和键值分支中的节点(像素或图像栅格)采样,得到代表性特征;长距离依赖信息捕获模块,用于对键值分支的代表性特征与序列分支进行矩阵乘法后进行Softmax操作,得到关系矩阵,并对值分支的代表性特征与关系矩阵进行矩阵乘法,得到长距离依赖矩阵;以及特征反映射模块,用于将长距离依赖信息编码到输入特征图像中。本发明能够学习到更精炼的长距离依赖信息,提高视觉理解任务的准确度。
-
公开(公告)号:CN111985542A
公开(公告)日:2020-11-24
申请号:CN202010778717.4
申请日:2020-08-05
Applicant: 华中科技大学
Abstract: 本发明公开了一种代表性图结构模型、视觉理解模型的建立方法及应用,属于视觉理解领域,包括:建立代表性图结构模型;代表性图结构模型包括:特征映射模块,用于从输入特征图像中提取值分支、键值分支和序列分支,并生成偏移矩阵;采样模块,用于根据偏移矩阵对值分支和键值分支中的节点(像素或图像栅格)采样,得到代表性特征;长距离依赖信息捕获模块,用于对键值分支的代表性特征与序列分支进行矩阵乘法后进行Softmax操作,得到关系矩阵,并对值分支的代表性特征与关系矩阵进行矩阵乘法,得到长距离依赖矩阵;以及特征反映射模块,用于将长距离依赖信息编码到输入特征图像中。本发明能够学习到更精炼的长距离依赖信息,提高视觉理解任务的准确度。
-
公开(公告)号:CN111461129B
公开(公告)日:2022-08-02
申请号:CN202010253715.3
申请日:2020-04-02
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于上下文先验的场景分割方法及系统,属于模式识别领域。方法包括:构建场景分割网络;该网络包括特征提取模块、特征聚合模块、上下文先验模块和特征融合模块;前两个模块依次对输入图像进行特征提取和特征聚合;上下文先验模块,对聚合得到的特征进行学习得到上下文先验图,上下文先验图学习得到类内先验和类间先验,将其与特征聚合模块的输出进行加权,对应得到类内特征和类间特征;特征融合模块,将特征提取模块输出的特征图、类内特征和类间特征进行级联融合和上采样后输出;将待分割场景图像输入训练好的场景分割模型,得到分割结果。本发明能够清楚地捕获类内特征和类间特征,有效提高了场景分割的准确度。
-
公开(公告)号:CN113205520A
公开(公告)日:2021-08-03
申请号:CN202110435343.0
申请日:2021-04-22
Applicant: 华中科技大学
Abstract: 本发明提供一种对图像进行语义分割的方法及系统,包括:确定样本图像;提取视觉特征和深度特征;对语义分割模型进行训练;包括编码模块和解码模块;编码模块将每组特征输入DFS,融合得到一组多模特征,通过CA对各组多模特征进行筛选,并将筛选后的多模特征输入DS学习各个深度特征对应的权重矩阵,基于权重矩阵和相应深度特征筛选出相应的关键深度特征,得到各组含有关键深度信息的多模特征;构建DDC,提取相关的语义特征,得到融合后的语义特征;解码模块基于融合后的语义特征对每组图像中的彩色图像进行语义分割;将待语义分割图像输入到训练好的语义分割模型,以进行语义分割。本发明的语义分割模型可以更加合理的利用深度信息。
-
公开(公告)号:CN111461129A
公开(公告)日:2020-07-28
申请号:CN202010253715.3
申请日:2020-04-02
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于上下文先验的场景分割方法及系统,属于模式识别领域。方法包括:构建场景分割网络;该网络包括特征提取模块、特征聚合模块、上下文先验模块和特征融合模块;前两个模块依次对输入图像进行特征提取和特征聚合;上下文先验模块,对聚合得到的特征进行学习得到上下文先验图,上下文先验图学习得到类内先验和类间先验,将其与特征聚合模块的输出进行加权,对应得到类内特征和类间特征;特征融合模块,将特征提取模块输出的特征图、类内特征和类间特征进行级联融合和上采样后输出;将待分割场景图像输入训练好的场景分割模型,得到分割结果。本发明能够清楚地捕获类内特征和类间特征,有效提高了场景分割的准确度。
-
公开(公告)号:CN109101907B
公开(公告)日:2020-10-30
申请号:CN201810849657.3
申请日:2018-07-28
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于双边分割网络的车载图像语义分割系统,包含:数据存储模块,用于存储车载图像训练集和待测车载图像;双边分割网络包含空间通道和上下文通道,空间通道用于提取车载图像的空间信息,上下文通道用于提取车载图像的上下文语义信息;训练模块,用于利用车载图像训练集训练双边分割网络;语义分割模块,用于利用训练好的双边分割网络,预测待测车载图像,得到待测车载图像中每个像素所属的类别。本发明提出的包含空间通道与上下文通道的双边分割网络,所述空间通道用于提取图像的空间信息的同时保留足够的空间信息,所述上下文通道用于提取图像的上下文语义信息的同时保证足够大的感受野。
-
公开(公告)号:CN108596240A
公开(公告)日:2018-09-28
申请号:CN201810357683.4
申请日:2018-04-20
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于判别特征网络的图像语义分割方法,属于模式识别技术领域。本发明首先将样本集随机分成训练集合,对每个训练集合中的数据进行数据扩增;之后以全卷积网络为基础,分别构建两个子网络:平滑网络和边界网络,并将两个子网络组合成判别特征网络;再将训练集合中的数据输入判别特征网络,并采用正向传播算法和后向传播算法训练网络参数;之后利用交叉熵函数分别计算两个子网络的损失,采用随机梯度下降算法最小化损失函数;最后利用训练后的判别特征网络对待测图片进行分析,预测图像中每个像素所属的类别,形成图像语义分割图输出。本发明方法提出了一种判别特征网络用于,解决了类内不一致和类间差别小的问题。
-
-
-
-
-
-
-
-
-