一种基于编码和机器学习的多语种识别方法

    公开(公告)号:CN106528535A

    公开(公告)日:2017-03-22

    申请号:CN201611001398.6

    申请日:2016-11-14

    CPC classification number: G06F17/275

    Abstract: 本发明提供了一种基于编码和机器学习的多语种识别方法,是计算机对自然语言的处理技术。本方法分别通过机器学习单元和编码识别单元对文本进行语种识别,编码识别时还统计各语种的单词量,当机器学习单元的识别结果在编码识别单元的判定区间内,且二者识别的语言一致时,输出单一识别语言,当编码识别单元识别到多种语言时,进行混合语言规则判断,若第二语言在文本中的单词量比例达到设定比例,则判定文本为混合语言。本发明对长文本可先作随机采样再判定,以提高识别效率。本发明能够准确、高效地实现中文简繁体、日、法、英等99种语言的语种识别,同时支持混合语种文本识别,在海量数据分析以及舆情监控中具有广泛的应用前景。

    一种数据标识方法及其对应装置

    公开(公告)号:CN104735025A

    公开(公告)日:2015-06-24

    申请号:CN201310703431.X

    申请日:2013-12-18

    Abstract: 本发明提供一种数据标识方法及其对应装置,其中该方法包括:将收到的数据报文的五元组第一部分内容按照预定算法进行计算,将得到的第一结果与目的端口的第一指定位置的内容进行比较,如果两者一致则根据会话表中的修改记录,将对应的原始端口更新到报文的目的端口字段中;如果两者不一致则将数据报文的五元组第二部分内容按照预定算法进行计算,将得到的第二结果填写到该报文源端口字段的第一指定位置中,将来源编号填写在该报文源端口字段的第二指定位置中,然后将修改记录写入会话表。本发明依据数据的特定标识,能有效的解决部分特定安全分析业务数据流量不能在同一服务器处理的多地对准问题。

    PCI-E零拷贝DMA数据传输方法

    公开(公告)号:CN104239249A

    公开(公告)日:2014-12-24

    申请号:CN201410472223.8

    申请日:2014-09-16

    Abstract: 本发明提供了一种PCI-E零拷贝DMA数据传输方法,属于PCI-E数据传输技术领域。本方法首先在数据源和数据目的系统中各自分配适当大小的物理内存,并分别对两个系统中分配的物理内存使用双向链表建立空闲内存池和工作内存池;在数据源系统上,用户应用程序传输数据时,从空闲内存池取得空闲内存后直接进行数据填充,数据填充完后传输给数据目的系统;在数据目的系统,将接收的数据存入工作内存池,用户应用程序使用相应的API接口从工作内存池中取得数据进行使用;使用完毕后将相应的内存归还给空闲内存池。本发明极大地减轻了CPU的压力,减少了系统调用,对于大规模小数据量的传输减轻了用户内核空间的切换,提高了系统效率。

    基于缓冲池的数据缓存排序在线处理方法

    公开(公告)号:CN101834801B

    公开(公告)日:2012-11-21

    申请号:CN201010177960.7

    申请日:2010-05-20

    Abstract: 基于缓冲池的数据缓存排序在线处理方法,属于互联网领域,为了解决目前常见的多线程下载软件对于下载数据乱序和重复的节目批量并发下载,不能实现基于内存的下载数据在线缓存、排序和去重,因而无法支持实时在线的识别、检索等处理的问题。本发明将所有缓冲区组织成缓冲区池,采用多个缓冲区缓存同一节目的下载数据。在接收节目数据包后,先查询节目的下载日志,若无新数据则丢弃不做任何处理,否则:首先选择合适的节目已有缓冲区接收数据,若无合适缓冲区且允许的情况下,申请新缓冲区接收数据;然后更新下载日志;最后调用分析处理模块将该缓冲区中排好的数据取走处理。重复上述过程,直至节目下载完成,将节目分配的缓冲区释放到缓冲区池中。

    基于自适应异构多分类模型的钓鱼网站检测方法和系统

    公开(公告)号:CN108965245B

    公开(公告)日:2021-04-13

    申请号:CN201810549417.1

    申请日:2018-05-31

    Abstract: 本发明提供了一种基于自适应异构多分类模型的钓鱼网站检测方法和系统。所述方法对多种基分类算法通过线性加成构建自适应异构多分类模型,对多分类模型进行训练,该模型输入是各基分类算法的输入,输出是样本标签,每个基分类算法从样本记录中提取相应的特征作为输入;采用机器学习算法求解模型参数,并用测试集进行测试和优化,最终得到该类钓鱼网站的检测模型。所述系统包括域名词素特征分类器、主题索引特征分类器、内容相似性特征分类器、结构样式特征分类器、视觉规则特征分类器、线性加成训练模块、集成分类器、训练数据集管理模块和检测及告警模块。本发明实现对钓鱼网站实时检测,并提高了钓鱼网站检测的准确性和稳定性。

    一种网络数据交互方法及装置

    公开(公告)号:CN107483384B

    公开(公告)日:2020-07-14

    申请号:CN201610404248.3

    申请日:2016-06-08

    Abstract: 本发明公开了一种网络数据交互方法及装置,本发明对从网络侧获取的网络数据进行分类,并对分类后的网络数据完成相应的处理后,通过共享内存的方式与后端BT系统进行数据交互,从而解决了相关技术中大规模的动态接入的连接的管理方法效率较低的问题,提高了系统运行效率,提升了服务器的性能。

Patent Agency Ranking