一种基于TF*IDF算法的统计学文本分类系统及方法
摘要:
本发明涉及一种基于TF*IDF算法的统计学文本分类方法,该方法提出了一种新的特征向量权重方法(TF*IDF*CIV),在TF*IDF方法中引入了概念信息量(CIV)这一变量,把特征向量的概念信息量作为一个变量考虑在特征向量权重的计算过程中,该算法的公式为:其中的共享概念数sim(ci,C)为特征项ti所对应的概念集合ci在类别概念集合C中匹配相等的概念数目;弥补了TF*IDF方法的不足现阶段TF*IDF方法被广泛的用来计算特征向量的权重。但是这种方法无法表示出特征项之间的关联性,忽略了特征项语义之间的关联性对权重的影响。由此,实验证明新方法的采用可以有效提高整个文本分类系统的准确率。
0/0