-
公开(公告)号:CN103678274A
公开(公告)日:2014-03-26
申请号:CN201310129008.3
申请日:2013-04-15
Applicant: 南京邮电大学
IPC: G06F17/27
Abstract: 本发明提供一种用于文本分类的特征提取方法,用于解决文本分类存在的准确率和召回率有待进一步提高的问题。本发明是一种策略性方法。考虑到统计热力学中熵的概念,熵用来描述体系的混乱程度,它在控制论、概率论、数论、天体物理、生命科学、信息论等领域都有重要应用。本发明认为熵同样可以用在文本分类中,可以将特征看成是一个事件,文本的类集就是一个系统,这样熵就可以衡量特征和类别的混乱程度,进而转化为它们之间关系的紧密程度。本发明在改进互信息的基础上,结合熵的概念,提出一种新的特征评估函数,并基于该函数进行特征提取,能选取更优特征子集,用以表示文本和构建分类器,以提高文本分类的准确率与召回率。
-
公开(公告)号:CN103345528B
公开(公告)日:2016-08-24
申请号:CN201310312018.0
申请日:2013-07-24
Applicant: 南京邮电大学
IPC: G06F17/30
Abstract: 本发明提供一种基于关联分析和KNN的文本分类方法,用于解决基于传统KNN的文本分类方法存在的效率和准确率有待进一步提高的问题;本发明是一种策略性方法考虑到被测文档与近邻文档向量的特征属性会重合较多,本发明提出一种基于关联分析和KNN的文本分类方法该方法基于对各个类别文本进行关联分析的结果,快速确定未知类别文本合适的近邻数k,并在已知类别的文本中选取k个近邻,进而根据近邻类别确定未知文本的类别,改进了基于传统KNN的文本分类方法k值难以确定及时间复杂度高的不足,提高了文本分类的效率和准确率。
-
公开(公告)号:CN103678275A
公开(公告)日:2014-03-26
申请号:CN201310129124.5
申请日:2013-04-15
Applicant: 南京邮电大学
IPC: G06F17/27
Abstract: 基于主客观语义的双层次文本相似度计算方法具有如下特征:本发明将文本分为题目和正文两个层次,通过过滤构建题目-词语向量,通过提取关键词构建较低维度的正文-词语向量,并将主客观结合的词语语义相似度计算方法用于词语向量相似度的计算,分别得到题目和正文的相似度,进而得到文本相似度;基于《知网》和语料库的词语-文本索引计算词语语义相似度,使词语表达简洁,计算结果能既符合主观概念又符合客观语义环境;文本相似度计算中,题目和正文并重,且将主客观结合的词语语义相似度计算方法运用其中,避免了高维度的文本-词语向量,充分提取了文本信息,提高了文本相似度结果的准确度,且适用于各种情况下文本的相似性分析。
-
公开(公告)号:CN104239436B
公开(公告)日:2018-01-02
申请号:CN201410432539.4
申请日:2014-08-27
Applicant: 南京邮电大学
IPC: G06F17/30
Abstract: 本发明公开了一种基于文本分类和聚类分析的网络热点事件发现方法,该方法解决了已有的基于聚类分析的热点事件发现方法存在的效率和准确率有待进一步提高的问题。该方法首先利用训练语料库通过特征词提取和特征选择为各类别文本分别选取特征词,再采用向量空间模型法将每个训练文本和测试文本表示为在所有特征空间中的向量,并采用TF‑IDF方法确定向量中每一维的权重,然后对各个测试文本进行分类,再对分好类的各个类别的测试文本分别进行聚类分析,得到各个类别的热点簇,再分析得到代表热点事件的特征词,进而分析热点各个特征词的词性等,再利用相关语言知识,通过必要的语言组织生成热点事件的描述。本发明能有效提高热点事件发现的效率和准确率。
-
公开(公告)号:CN104239436A
公开(公告)日:2014-12-24
申请号:CN201410432539.4
申请日:2014-08-27
Applicant: 南京邮电大学
IPC: G06F17/30
CPC classification number: G06F17/30705
Abstract: 本发明公开了一种基于文本分类和聚类分析的网络热点事件发现方法,该方法解决了已有的基于聚类分析的热点事件发现方法存在的效率和准确率有待进一步提高的问题。该方法首先利用训练语料库通过特征词提取和特征选择为各类别文本分别选取特征词,再采用向量空间模型法将每个训练文本和测试文本表示为在所有特征空间中的向量,并采用TF-IDF方法确定向量中每一维的权重,然后对各个测试文本进行分类,再对分好类的各个类别的测试文本分别进行聚类分析,得到各个类别的热点簇,再分析得到代表热点事件的特征词,进而分析热点各个特征词的词性等,再利用相关语言知识,通过必要的语言组织生成热点事件的描述。本发明能有效提高热点事件发现的效率和准确率。
-
公开(公告)号:CN103345528A
公开(公告)日:2013-10-09
申请号:CN201310312018.0
申请日:2013-07-24
Applicant: 南京邮电大学
IPC: G06F17/30
Abstract: 本发明提供一种基于关联分析和KNN的文本分类方法,用于解决基于传统KNN的文本分类方法存在的效率和准确率有待进一步提高的问题;本发明是一种策略性方法考虑到被测文档与近邻文档向量的特征属性会重合较多,本发明提出一种基于关联分析和KNN的文本分类方法该方法基于对各个类别文本进行关联分析的结果,快速确定未知类别文本合适的近邻数k,并在已知类别的文本中选取k个近邻,进而根据近邻类别确定未知文本的类别,改进了基于传统KNN的文本分类方法k值难以确定及时间复杂度高的不足,提高了文本分类的效率和准确率。
-
-
-
-
-