一种实时在线日志检测方法及系统

    公开(公告)号:CN103514398A

    公开(公告)日:2014-01-15

    申请号:CN201310492962.9

    申请日:2013-10-18

    Abstract: 本发明涉及一种实时在线日志检测方法,包括:步骤1:将整个的训练日志转换为一个离散事件序列;步骤2:建立一个检测模型;步骤3:将待测日志分段生成至少一个日志段,并为每个日志段分配日志段序列;步骤4:对一个日志段进行异常程度评分,得到相对熵;步骤5:判断相对熵是否为正值,如果是,当前日志段异常,跳至步骤7;否则,当前日志段为正常;步骤6:判断相对熵是否大于阈值,如果是,当前日志段为异常;否则,跳至步骤8;步骤7:发送异常警告给用户,待检测程序恢复到检测所述日志段之前的状态;步骤8:判断异常日志中是否存在未评分日志段,如果是,跳转至步骤4;否则,结束。本发明可实时检测异常,且不需要设置复杂的参数,简单有效。

    一种用于大数据处理的计算系统及计算方法

    公开(公告)号:CN103488775A

    公开(公告)日:2014-01-01

    申请号:CN201310455174.2

    申请日:2013-09-29

    CPC classification number: G06F17/30194

    Abstract: 本发明涉及一种用于大数据处理的计算系统及方法,所述系统从下至上依次包括最底层模块、中间层模块和最高层模块,且中间层模块又包括消息传输模块和计算模型模块;最底层模块采用Hadoop分布式文件系统,用于存储数据;消息传输模块用于实现在不同计算节点运行的计算模型模块之间传递消息;在不同计算节点运行的计算模型模块根据所述消息传输模块传递的消息实现协同工作,并各自构建特定类型的计算模型来处理数据;最高层模块用于为计算模型提供编程接口,并以串行的方式组合不同计算模型表达的计算,同时设置不同计算模型之间基于内存流水线方式共享数据。本发明允许在一个系统内采用多种计算模型编写应用程序,能解决更复杂的问题。

    一种基于BSP模型的实时图数据处理系统及方法

    公开(公告)号:CN103336808A

    公开(公告)日:2013-10-02

    申请号:CN201310256296.9

    申请日:2013-06-25

    Abstract: 本发明涉及一种基于BSP模型的实时图数据处理系统和方法,所述系统包括:数据存储单元用于对图数据预处理,并按“内存存储—分布式内存存储—分布式文件系统”的三层存储结构存储,基于图数据生成作业;图数据查询统计单元用于对图数据进行查询和统计,将数据存储单元生成的作业分解为多个任务,以均衡的方式分发给相应计算节点,再统计每个任务的计算结果,并合并所有任务的计算结果作为最终结果返回给用户;图数据分析处理单元用于使各计算节点通过迭代计算执行分解出的任务,并通过消息传递实现每次迭代计算的同步,并输出任务的计算结果。所述方法基于该系统实现实时图数据处理,均具有访问高效、保持集群负载均衡、加速BSP模型执行效率等优点。

    一种基于遮蔽语言模型的两阶段情感迁移方法和系统

    公开(公告)号:CN113095063B

    公开(公告)日:2024-07-19

    申请号:CN202010018333.2

    申请日:2020-01-08

    Abstract: 本发明涉及一种基于遮蔽语言模型的两阶段情感迁移方法和系统。该方法包括:利用基于注意力机制的情感分类器和基于相对频率的融合方法,计算语料库中的所有词的得分,根据得分构建情感标记词的词库;利用情感标记词的词库对语料进行遮蔽处理,得到遮蔽语料;将遮蔽语料输入遮蔽语言模型中,利用遮蔽语言模型在遮蔽语料的遮蔽位置进行填空,得到迁移语料;将迁移语料输入预训练的情感分类器中,输出情感置信度分值,并使用预训练的情感分类器的梯度信号来优化遮蔽语言模型。本发明通过显式分割情感迁移任务,先找出句子中的情感信息进行遮蔽,再填入能代表目标情感信息的情感词,通过分解任务降低难度,能够达到更好的效果。

    一种事件发展脉络图生成方法

    公开(公告)号:CN111382276B

    公开(公告)日:2023-06-20

    申请号:CN201811631236.X

    申请日:2018-12-29

    Abstract: 本发明公开了一种事件发展脉络图生成方法。本方法为:1)对语料库中的每一新闻文本,生成该新闻文本的向量表示并抽取该新闻文本中的实体、事件隐含话题;2)计算目标事件的新闻文本与语料库中各新闻文本之间的实体相似性、话题相似性和向量表示相似性,并根据计算结果选取该目标事件的新闻集合;3)将该新闻集合中的每一篇新闻文本看作该目标事件的事件发展脉络图中的一节点,并计算节点之间的相似度,如果两节点的相似度大于设定阈值,则生成一连接该两节点的边,从而生成该新闻集合的新闻文本关系图;4)对该新闻文本关系图进行子事件划分,得到若干子事件阶段;5)根据每个子事件阶段对应的代表性文档生成该目标事件的事件发展脉络图。

    一种基于Kubernetes集群GPU空间共享的方法

    公开(公告)号:CN114510319A

    公开(公告)日:2022-05-17

    申请号:CN202111635865.1

    申请日:2021-12-29

    Abstract: 本发明公开了一种基于Kubernetes集群GPU空间共享的方法,涉及计算机技术领域,针对当前数据处理集群中GPU资源利用率低的问题,提出了关于GPU显存与活跃线程相结合的打分规则,并为了能够有效调度GPU资源,在集群中添加了Scheduler Extender和Device Plugin,进一步改变了以往调度策略中的静态调度方案,使用改进的蚁群算法,能够有效提高集群资源利用率,降低企业使用成本,提高效益。

    一种基于多模态信息特征的不良内容过滤方法

    公开(公告)号:CN109902223B

    公开(公告)日:2020-12-04

    申请号:CN201910032064.2

    申请日:2019-01-14

    Abstract: 本发明提出了一种基于多模态信息特征的不良内容过滤方法,将文本集划分为训练集与测试集,将分词结果和关键词输入到分类算法,提取文本特征,训练分类器;将训练好的分类器用于预测测试集,得到文本分类结果;将文本集和关键词集转为图像数据,将数据图像集与文本集相对应,划分为对应的训练集与测试集,进行相似度计算,得到相似度最大值集合以及最大值对应的关键词集合,如果该关键词集合的关键词满足阈值约束,则匹配成功,则该关键词为相似度最大值对应的关键词,作为图像分类结果;对比文本分类结果与图像分类结果,根据判别条件得到最终的类别预测结果,以过滤该不良内容。

    一种基于异构外部知识源图结构抽取答案信息的方法

    公开(公告)号:CN111581326A

    公开(公告)日:2020-08-25

    申请号:CN202010238159.2

    申请日:2020-03-30

    Abstract: 本发明提出一种基于异构外部知识源图结构抽取答案信息的方法,属于自然语言处理领域,为了提升问答返回的答案质量,本方法结合使用结构化知识和非结构化知识这两种异构的知识源,在获得相应的知识以后,使用结构化技术对知识进行建图处理,并结合图卷积网络技术学习图的表示,结合文本和图的信息来对从后台文本数据中返回能够正确回答用户问题的答案。本方法能够根据问题和答案的匹配程度对答案进行重排,将用户关心和期待的答案展示在最前面,使搜索结果更具针对性,使用户能够在更短的查询时间内得到更想要的答案。

Patent Agency Ranking