-
公开(公告)号:CN116842378A
公开(公告)日:2023-10-03
申请号:CN202310670809.4
申请日:2023-06-07
Applicant: 南京莱斯网信技术研究院有限公司 , 东南大学
IPC: G06F18/214 , G06F18/2132 , G06F18/10 , G06F18/25 , G06F16/25 , G06F16/28 , G06F40/216 , G06F18/22
Abstract: 本发明提供了基于舆情实时数据流的自适应LDA主题模型训练系统,包括数据汇聚模块、数据预处理模块、自适应LDA模型训练模块和增量式LDA模型融合模块;数据汇聚模块用于对结构化、半结构化数据进行抽取和转换加载,并输入到分布式的消息总线kafka中;数据预处理模块用于对消息总线kafka中的数据进行预处理,最后形成加权词向量;自适应LDA模型训练模块用于训练得到LDA模型结果,并将训练结果进行合并;增量式LDA模型融合模块用于进行融合训练生成新一轮LDA模型。本发明从准确率及性能上都优于传统LDA主题分析方法,并应用于网络舆情领域事件检测、推荐、词云及检索等实际工程项目中,创造了商业价值。
-
公开(公告)号:CN118503512A
公开(公告)日:2024-08-16
申请号:CN202410512695.5
申请日:2024-04-26
Applicant: 南京莱斯网信技术研究院有限公司 , 东南大学
IPC: G06F16/953 , G06F16/27 , G06F16/2458 , G06F16/2452 , G06F16/483 , G06F9/50
Abstract: 本发明提出了一种面向大规模网络舆情的Elasticsearch检索优化系统,包括:数据汇聚模块、优化机制和检索服务模块;其中:所述数据汇聚模块,用于对网络舆情多模态数据,经过预处理后得到的中间数据发送到分布式消息总线Kafka中,最终持久化保存到Elasticsearch分布式检索引擎中;所述优化机制,包括:基于深度学习模型SBert构建文本语义向量,用于实现语义检索;基于CLIP多模态对比学习模型将网络舆情多模态数据中的文本和图片转成文本向量和图片向量,用于向量检索;采用分片优化策略优化Elasticsearch分布式检索引擎的检索性能;所述检索服务模块,用于使用布尔组合查询器,基于优化机制中构建的文本语义向量、文本向量和图片向量,进行多模态检索。
-
公开(公告)号:CN111414520B
公开(公告)日:2021-03-19
申请号:CN202010194818.7
申请日:2020-03-19
Applicant: 南京莱斯网信技术研究院有限公司
IPC: G06F16/906 , G06F16/951 , G06F16/9536 , G06N7/00
Abstract: 本发明公开了一种舆情信息中敏感信息的智能挖掘系统,包括:舆情信息预处理模块,用于滤除舆情信息中的杂质信息,获得已过滤舆情信息;敏感信息类别标注模块,用于在信息展示界面接收并记录人工标注信息,获得已标注舆情信息;基于bert模型的敏感信息识别模块,用于根据已标注舆情信息训练敏感信息分类模型获得挖掘模型;舆情信息敏感智能挖掘模块,用于根据挖掘模型实时智能挖掘舆情信息并输出挖掘结果;敏感信息可视化模块,用于将舆情信息与挖掘结果以可视化的形式展示在信息展示界面。采用前述系统,能够结合舆情工作人员的需求,完成舆情信息敏感智能挖掘,方便舆情工作人员实时、便捷地了解和掌握舆情信息,辅助相关工作人员完成决策。
-
公开(公告)号:CN116055134A
公开(公告)日:2023-05-02
申请号:CN202211682251.3
申请日:2022-12-26
Applicant: 南京莱斯网信技术研究院有限公司
IPC: H04L9/40 , H04L67/1097 , G06F16/958
Abstract: 本发明提出了一种互联网信息的电子取证方法,包括:对电子取证的环境进行清洁;打开待取证互联网网页;提取待取证互联网网页的信息;获取取证可信时间戳,得到取证时间,将证据信息进行固证处理并进行证据指纹计算,得到证据指纹,生成电子证据包文件;将电子证据包文件存储至分布式文件存储系统,并取得证据包文件路径;将证据包文件路径、证据指纹以及取证时间等信息存储至区块链平台取得区块链信息,即区块高度和区块HASH信息;将区块链信息和电子证据相关的其他业务数据存储至业务数据库,完成互联网信息提取及固证,即完成互联网信息的电子取证。
-
公开(公告)号:CN111414520A
公开(公告)日:2020-07-14
申请号:CN202010194818.7
申请日:2020-03-19
Applicant: 南京莱斯网信技术研究院有限公司
IPC: G06F16/906 , G06F16/951 , G06F16/9536 , G06N7/00
Abstract: 本发明公开了一种舆情信息中敏感信息的智能挖掘系统,包括:舆情信息预处理模块,用于滤除舆情信息中的杂质信息,获得已过滤舆情信息;敏感信息类别标注模块,用于在信息展示界面接收并记录人工标注信息,获得已标注舆情信息;基于bert模型的敏感信息识别模块,用于根据已标注舆情信息训练敏感信息分类模型获得挖掘模型;舆情信息敏感智能挖掘模块,用于根据挖掘模型实时智能挖掘舆情信息并输出挖掘结果;敏感信息可视化模块,用于将舆情信息与挖掘结果以可视化的形式展示在信息展示界面。采用前述系统,能够结合舆情工作人员的需求,完成舆情信息敏感智能挖掘,方便舆情工作人员实时、便捷地了解和掌握舆情信息,辅助相关工作人员完成决策。
-
公开(公告)号:CN110704542A
公开(公告)日:2020-01-17
申请号:CN201910978247.3
申请日:2019-10-15
Applicant: 南京莱斯网信技术研究院有限公司
Abstract: 本发明提供了一种基于节点负载的数据动态分区系统,包括负载监测采集、预测、数据预分区、数据迁移等模块;采用二次平滑法预测节点负载,结合了AHP和熵值指标权重法,能够根据不同的数据分析应用得到相应的分区策略,动态调整系统的负载均衡性,提高应用的响应速度。本发明针对Spark和Memsql分布式集成框架的应用场景,由于分布式环境存在节点资源的异构性,为了减少节点之间数据传输消耗,充分利用每个节点的计算资源,通过负载均衡性来提高应用分析的并行计算效率。为此,本发明提出一种基于节点负载的数据动态分区机制和策略来改善系统负载均衡性及提高应用的响应速度,辅助相关工作人员完成决策。
-
-
-
-
-