一种基于情感分析的数据处理方法和装置

    公开(公告)号:CN107908782A

    公开(公告)日:2018-04-13

    申请号:CN201711277819.2

    申请日:2017-12-06

    CPC classification number: G06F17/30705 G06F17/2735 G06K9/6247

    Abstract: 本发明提供了一种基于情感分析的数据处理方法和装置,涉及计算机技术领域,所述方法包括:获得原始文本数据库,所述原始文本数据库中包含文本数据;获得情感分析词典;根据所述情感分析词典,获得第一情感权值;获得在线序列-极限学习机模型;根据所述在线序列-极限学习机模型,动态调整预测模型,获得第二情感权值;根据所述第一情感权值、所述第二情感权值,确定所述第三情感权值。解决了现有技术中无法实现对实时网络数据流快速、准确的情感分析的技术问题。达到了基于大数据平台,实现对海量文本进行准实时的情感分析处理的技术效果。

    一种基于Spark-Streaming的文本相似性分析的数据处理方法和装置

    公开(公告)号:CN108009152A

    公开(公告)日:2018-05-08

    申请号:CN201711262073.8

    申请日:2017-12-04

    Abstract: 本发明提供了一种基于Spark-Streaming的文本相似性分析的数据处理方法和装置,涉及计算机技术领域,所述方法包括:动态获得实时文本数据库;根据实时文本数据库,获得第一文本信息,获得第二文本信息;获得文本长度相似性信息;获得文本词序相似性信息;获得文本关键词相似性信息;获得文本语法相似性信息;根据所述文本长度相似性信息、所述文本词序相似性信息、所述文本关键词相似性信息、所述文本语法相似性信息,确定所述第一文本信息与所述第二文本信息的语句相似度。解决了现有技术中无法实现对实时网络数据流快速、准确的情感分析的技术问题。达到了基于大数据平台,实现对海量文本进行多维度、实时的、准确的文本相似性的技术效果。

Patent Agency Ranking