公开(公告)号：CN108595568B

公开(公告)日：2022-05-17

申请号：CN201810332338.5

申请日：2018-04-13

Applicant: 重庆邮电大学

Inventor： 雷大江 ,  张红宇 ,  陈浩 ,  张莉萍 ,  吴渝 ,  杨杰 ,  程克非

IPC: G06F16/35 ,  G06F17/18

Abstract: 本发明提供了一种基于极大无关多元逻辑回归的文本情感分类方法，所述方法包括：获取文本数据，并对所述文本数据进行预处理；在第一模型的代价函数基础上，通过引入相关参数惩罚项，获取第二模型的代价函数；将预处理得到的训练数据输入第二模型的代价函数的导函数，并进行求解得到第二模型；所述第一模型为多元逻辑回归模型，所述第二模型为极大无关多元逻辑回归模型；将预处理得到的待预测数据输入所述第二模型，得到待预测数据中每个文本条目所属的情感类别。通过添加不相关约束项使得针对冗余数据具有较高的鲁棒性；降低了传统的多元逻辑回归模型的复杂度，具有更强的泛化能力；进而能够对获取的目标文本数据中文本条目进行精确分类。

公开(公告)号：CN108595568A

公开(公告)日：2018-09-28

申请号：CN201810332338.5

申请日：2018-04-13

Applicant: 重庆邮电大学

Inventor： 雷大江 ,  张红宇 ,  陈浩 ,  张莉萍 ,  吴渝 ,  杨杰 ,  程克非

IPC: G06F17/30 ,  G06F17/18

Abstract: 本发明提供了一种基于极大无关多元逻辑回归的文本情感分类方法，所述方法包括：获取文本数据，并对所述文本数据进行预处理；在第一模型的代价函数基础上，通过引入相关参数惩罚项，获取第二模型的代价函数；将预处理得到的训练数据输入第二模型的代价函数的导函数，并进行求解得到第二模型；所述第一模型为多元逻辑回归模型，所述第二模型为极大无关多元逻辑回归模型；将预处理得到的待预测数据输入所述第二模型，得到待预测数据中每个文本条目所属的情感类别。通过添加不相关约束项使得针对冗余数据具有较高的鲁棒性；降低了传统的多元逻辑回归模型的复杂度，具有更强的泛化能力；进而能够对获取的目标文本数据中文本条目进行精确分类。

公开(公告)号：CN108536838A

公开(公告)日：2018-09-14

申请号：CN201810330888.3

申请日：2018-04-13

Applicant: 重庆邮电大学

Inventor： 雷大江 ,  张红宇 ,  陈浩 ,  张莉萍 ,  吴渝 ,  杨杰 ,  程克非

IPC: G06F17/30

Abstract: 本发明提供了一种基于Spark的极大无关多元逻辑回归模型对文本情感分类方法，包括：将训练样本数据集存储于HDFS中；Spark平台从HDFS中读取数据生成RDD；Spark平台将数据的预处理任务分为多个任务组，对每个任务组中存储有读取数据的RDD进行预处理，将预处理的结果存入HDFS中；训练极大无关多元逻辑回归模型，经过求解得到极大无关多元逻辑回归分类器；将分类器输出到HDFS中；从HDFS中读取经过预处理的待预测文本的数据和训练得到的分类器；获取待预测文本的情感分类。本发明在Spark计算框架下并行方法求解，模型训练更加快速，更适合大数据场景下的文本情感分类；降低了传统多元逻辑回归模型的复杂度，具有更强的泛化能力；能够对待预测样本数据进行精确情感分类。

公开(公告)号：CN108536838B

公开(公告)日：2021-10-19

申请号：CN201810330888.3

申请日：2018-04-13

Applicant: 重庆邮电大学

Inventor： 雷大江 ,  张红宇 ,  陈浩 ,  张莉萍 ,  吴渝 ,  杨杰 ,  程克非

IPC: G06F16/35 ,  G06F40/216 ,  G06N20/00

Abstract: 本发明提供了一种基于Spark的极大无关多元逻辑回归模型对文本情感分类方法，包括：将训练样本数据集存储于HDFS中；Spark平台从HDFS中读取数据生成RDD；Spark平台将数据的预处理任务分为多个任务组，对每个任务组中存储有读取数据的RDD进行预处理，将预处理的结果存入HDFS中；训练极大无关多元逻辑回归模型，经过求解得到极大无关多元逻辑回归分类器；将分类器输出到HDFS中；从HDFS中读取经过预处理的待预测文本的数据和训练得到的分类器；获取待预测文本的情感分类。本发明在Spark计算框架下并行方法求解，模型训练更加快速，更适合大数据场景下的文本情感分类；降低了传统多元逻辑回归模型的复杂度，具有更强的泛化能力；能够对待预测样本数据进行精确情感分类。