-
公开(公告)号：CN107066450B
公开(公告)日：2020-04-10
申请号：CN201710391483.6
申请日：2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
Abstract: 本发明公开了一种基于学习的即时通信会话切分技术与方法，属于大数据分析领域；将即时通信会话用户两两划分为一组，并将每组的会话话单明细进行分类和基于时间排序；会话切分为：依次选取相邻两条话单R1和R2，计算时间间隔Δt，文本内容相似度Δsim和距离值F(R1,R2)；如果F(R1,R2)
-
公开(公告)号：CN106708926B
公开(公告)日：2020-10-30
申请号：CN201611001399.0
申请日：2016-11-14
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F40/216 , G06F40/289 , G06F16/35
Abstract: 本发明提出一种支持海量长文本数据分类的分析模型的实现方法，属于大数据文本分析技术领域。本发明采用HanLP分词工具中的标准分词并采用改进的CHI算法，一方面有效降低文本分类时每篇文章的词向量空间的维度，降低文本分类计算的时间复杂度，提升算法效率，满足大数据背景下海量长文本分类时的性能需求；同时最大程度低减少由于降低向量空间维度数而造成分类准确性降低。采用TFIDF算法能够有效消除了文本与向量之间的屏障，最后采用朴素贝叶斯分类算法，能够准确的将文本进行较好的训练，实现长文本的准确的分类。本发明能有效地解决在大数据环境下长文本分类的性能指标和准确性指标的矛盾性问题，具有广泛的应用前景。
-
Patent Agency Ranking
公开(公告)号：CN106528535B
公开(公告)日：2019-04-26
申请号：CN201611001398.6
申请日：2016-11-14
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/27
Abstract: 本发明提供了一种基于编码和机器学习的多语种识别方法，是计算机对自然语言的处理技术。本方法分别通过机器学习单元和编码识别单元对文本进行语种识别，编码识别时还统计各语种的单词量，当机器学习单元的识别结果在编码识别单元的判定区间内，且二者识别的语言一致时，输出单一识别语言，当编码识别单元识别到多种语言时，进行混合语言规则判断，若第二语言在文本中的单词量比例达到设定比例，则判定文本为混合语言。本发明对长文本可先作随机采样再判定，以提高识别效率。本发明能够准确、高效地实现中文简繁体、日、法、英等97种语言的语种识别，同时支持混合语种文本识别，在海量数据分析以及舆情监控中具有广泛的应用前景。
-
公开(公告)号：CN107066450A
公开(公告)日：2017-08-18
申请号：CN201710391483.6
申请日：2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
Abstract: 本发明公开了一种基于学习的即时通信会话切分技术与方法，属于大数据分析领域；将即时通信会话用户两两划分为一组，并将每组的会话话单明细进行分类和基于时间排序；会话切分为：依次选取相邻两条话单R1和R2，计算时间间隔Δt，文本内容相似度Δsim和距离值F(R1,R2)；如果F(R1,R2)
-
公开(公告)号：CN106708926A
公开(公告)日：2017-05-24
申请号：CN201611001399.0
申请日：2016-11-14
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
Abstract: 本发明提出一种支持海量长文本数据分类的分析模型的实现方法，属于大数据文本分析技术领域。本发明采用HanLP分词工具中的标准分词并采用改进的CHI算法，一方面有效降低文本分类时每篇文章的词向量空间的维度，降低文本分类计算的时间复杂度，提升算法效率，满足大数据背景下海量长文本分类时的性能需求；同时最大程度低减少由于降低向量空间维度数而造成分类准确性降低。采用TFIDF算法能够有效消除了文本与向量之间的屏障，最后采用朴素贝叶斯分类算法，能够准确的将文本进行较好的训练，实现长文本的准确的分类。本发明能有效地解决在大数据环境下长文本分类的性能指标和准确性指标的矛盾性问题，具有广泛的应用前景。
-
公开(公告)号：CN106528536A
公开(公告)日：2017-03-22
申请号：CN201611001691.2
申请日：2016-11-14
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/27
CPC classification number: G06F17/2765 , G06F17/2705
Abstract: 本发明公开一种基于词典与文法分析的多语种分词方法，可以实现中、日、韩、粤语等混合文本高效准确的分词处理，并且对于不同时段、不同专业的词可以实现灵活的词库扩展，有效更新词库信息，实现准确、高效的多语种语言文本分词；通过内嵌中日韩粤等语系子分词器、中文量子分词器和西方语系分词器，可以实现每类语种文本判断的准确分词；通过内置的语言片段编码识别机制字段对待分词文本片段进行切分，切分后的每种文本片段对应于一种语系，并使用相应的子分词器进行分词；通过文法分析可以实现西方屈折语的分词、中、日、韩、粤语的smart模式分词，可以处理含有阿拉伯数字信息的文本；同时，本发明还可以实现多种语言混合的文本分词，脱离了分词工具只能对单一语种、个别几个语种分词的局限性，保证文本分词的安全性、准确性、高效性、灵活性、普适性。通过本发明的提
-
公开(公告)号：CN106528535A
公开(公告)日：2017-03-22
申请号：CN201611001398.6
申请日：2016-11-14
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/27
CPC classification number: G06F17/275
Abstract: 本发明提供了一种基于编码和机器学习的多语种识别方法，是计算机对自然语言的处理技术。本方法分别通过机器学习单元和编码识别单元对文本进行语种识别，编码识别时还统计各语种的单词量，当机器学习单元的识别结果在编码识别单元的判定区间内，且二者识别的语言一致时，输出单一识别语言，当编码识别单元识别到多种语言时，进行混合语言规则判断，若第二语言在文本中的单词量比例达到设定比例，则判定文本为混合语言。本发明对长文本可先作随机采样再判定，以提高识别效率。本发明能够准确、高效地实现中文简繁体、日、法、英等99种语言的语种识别，同时支持混合语种文本识别，在海量数据分析以及舆情监控中具有广泛的应用前景。
-
-
-
-
-
-
Search Results
7
records
(took 0.089 seconds)
