一种基于多粒度融合与Bert筛选的中文文本自动校对方法

    公开(公告)号:CN113221542A

    公开(公告)日:2021-08-06

    申请号:CN202110348599.8

    申请日:2021-03-31

    Abstract: 本发明涉及一种基于多粒度融合与Bert筛选的中文文本自动校对方法,属于自然语言处理技术领域;本发明通过结合字粒度与词粒度级别的校对模型,以期能够利用不同粒度级别的信息。字粒度模型采用集成规则生成候选集与Bert筛选的方法,词粒度采用传统方法,先构建候选集,然后使用N‑Gram模型计算句子困惑度取最佳候选。另外该方法还解决了多字少字等错误类型问题。实验结果验证了该方法能有效提高检错纠错的召回率,有效提升校对模型性能。对比现有技术,本发明规避了字粒度校对模型和词粒度校对模型带来的局限性,基于多粒度融合与Bert筛选通过两种粒度有效结合不同层次信息,通过N‑Gram LM打分与Bert进行筛选,能够有效提高错误的召回率和校对的准确率。

    基于深度神经网络的新闻流行度预测模型训练方法

    公开(公告)号:CN110083699B

    公开(公告)日:2021-01-12

    申请号:CN201910202638.6

    申请日:2019-03-18

    Abstract: 本发明提出了一种基于深度神经网络的新闻流行度预测模型训练方法,包括:获取特定主题设定时间段的新闻文章数据,用Pandas进行数据清洗后按照设定时间长度进行顺次分组,获取按时间顺序排列得到新闻流行度序列;依据所述新闻流行度序列,从第一个流行度开始依次按照采样长度为w的连续序列作为输入样本,并采样其之后一期的数据作为输出样本,构建训练样本集;随机从训练样本集中选择训练样本对基于LSTM网络的新闻流行度预测模型进行训练,并采用Pearson相关系数进行关联性分析删除不良的训练样本,循环训练过程至训练结束。本发明可以获得用来对无趋势性、无季节性及非线性新闻流行度进行较高准确率预测的新闻流行度预测模型。

    一种不同信息源的房产数据同一性判别方法

    公开(公告)号:CN109977287A

    公开(公告)日:2019-07-05

    申请号:CN201910242011.3

    申请日:2019-03-28

    Abstract: 本发明涉及一种不同信息源的房产数据同一性判别方法,属于互联网数据分析与挖掘技术领域。所述同一性判别方法基于链家、我爱我家、中原、麦田网站公布的房屋数据及其相关性;通过分析房屋数据的特点,通过区域去重、小区去重以及房屋去重的三大步骤剔除重复的房屋数据,所述房屋数据是对实际的房屋客体的特点描述,虽然描述的角度和方式存在差异,但数据之间存在很强的相关性。所述方法能对来源于不同网站的房屋数据去重,能够准确、高效的对来源于不同信息源的房屋数据的同一性判别,并能有效去除重复区域、小区,可以实现面向多源异构的房屋数据的有效融合,为房地产市场分析提供“干净”,“整齐”的数据。

    一种面向网络数据的专题文档快速识别系统

    公开(公告)号:CN105843854B

    公开(公告)日:2019-02-05

    申请号:CN201610150817.6

    申请日:2016-03-16

    Abstract: 本发明提供一种面向网络数据的专题文档快速识别系统,通过与不同规则的高效匹配达到快速识别专题的目的。本发明主要由文档获取模块、文档结果存储模块、轮询监测模块、实时服务接口、历史服务接口、规则树构建模块、实时过滤处理模块和回溯过滤处理模块组成。本发明实现了对实时数据和历史有效数据同时进行处理的功能,能够对大量文档数据进行批量处理,能够在保证系统正常运行的前提下对处理算法进行动态热切换,能够在输入输出接口内容变动后依然可以保证系统的正常运行,弥补了目前一些文档识别系统无法随意更改、灵活性和复用性差等的缺陷,对需求变更有很强的适应性。

    基于社交网络的用户群体消息传播异常分析方法及装置

    公开(公告)号:CN109145109A

    公开(公告)日:2019-01-04

    申请号:CN201710464424.7

    申请日:2017-06-19

    CPC classification number: G06Q50/01

    Abstract: 本发明涉及一种基于社交网络的用户群体消息传播异常分析方法和装置,包括:获取在线社交网络中用户群体的历史聊天记录,根据预先设定的时间跨度,获取历史聊天记录在时间跨度内用户群体中所有用户所发布的消息,作为消息集合;对于消息集合,根据预先设定的时间范围统计用户群体在每个时间范围内所发布的消息总数;基于时序相关性的特征提取法,对每个消息总数的特征进行提取,并将提取结果集合为样本集合;根据消息总数并采用聚类算法为样本集合对样本集合进行聚类,生成异常样本;根据异常样本判定其所在的用户群体存在消息传播异常。由此本发明能够应对数据涌发现象,同时算法直观简单,准确率更高,且本发明应用场景广泛。

    基于微博热门事件计算关键节点的方法及装置

    公开(公告)号:CN108733763A

    公开(公告)日:2018-11-02

    申请号:CN201810338555.5

    申请日:2018-04-16

    Abstract: 本发明公开了一种基于微博热门事件计算关键节点的方法,包括:获取历史热门事件的转发数、评论数、点赞数和阅读数,定义热门值,并确定热门临界值;获取历史热门事件的初步关键博主,获取作为初步关键传播时间,建立关键传播时间的计算公式;获取目标事件的转发数、评论数、点赞数和阅读数,若目标事件的热门值达到热门临界值,则计算出目标事件的关键传播时间,获得关键时间点;选取在关键时间点附近发微博的若干博主,获取其中与其它博主关联次数最多的博主,即为目标事件的关键博主。本发明还提供了基于微博热门事件计算关键节点的装置。本发明能够在微博热门事件在不可控地爆发之前,找到推动此事件的关键博主,从而使得事件得以控制。

Patent Agency Ranking