-
公开(公告)号：CN117389700A
公开(公告)日：2024-01-12
申请号：CN202311251284.7
申请日：2023-09-26
Applicant: 中电科大数据研究院有限公司
IPC: G06F9/48 , G06F9/50 , G06F16/25 , G06F16/28 , G06F16/242
Abstract: 本申请公开了一种流批一体的数据处理方法、装置、系统及存储介质，用于对数据进行一体化处理。本申请方法包括：创建Flink任务；统一使用Flink SQL语句定义数据处理逻辑；对Flink任务的任务类型进行判断；当确定Flink任务为流数据处理任务时，使用Flink引擎的数据处理逻辑对Flink任务进行处理；当确定Flink任务为批数据处理任务时，将批数据处理任务的配置信息封装为数据流；通过XxlJob调度器检查数据结构中的数据流，并提取出数据流中的配置信息；通过XxlJob调度器将配置信息传输至预先创建的执行器中；通过执行器对配置信息进行解析；执行器调用Flink引擎的统一API接口，并将批数据处理任务以参数的形式提交给Flink引擎进行处理。
-
公开(公告)号：CN116628682B
公开(公告)日：2023-11-14
申请号：CN202310907425.X
申请日：2023-07-24
Applicant: 中电科大数据研究院有限公司
Abstract: 本申请实施例公开了一种基于数据沙盒的数据契约式开放方法及相关设备，可安全的对外开放数据，既保证数据安全，又能充分发挥数据的最大价值。所述数据契约式开放方法应用于沙盒服务端，所述沙盒服务端中包含有边界沙盒和计算沙盒，包括：沙盒服务端根据目标安全契约开启边界沙盒，目标安全契约用于制约边界沙盒和计算沙盒在沙盒服务端中的行为；边界沙盒接收来自于数据使用方提供的初始模型和数据提供方提供的数据样本；计算沙盒依据目标安全契约将数据样本输入初始模型进行训练生成数据分析模型；边界沙盒将数据分析模型上传至数据使用方；沙盒服务端销毁边界沙盒和计算沙盒。
-
公开(公告)号：CN115718784A
公开(公告)日：2023-02-28
申请号：CN202211384158.4
申请日：2022-11-07
Applicant: 中电科大数据研究院有限公司
Abstract: 本申请公开了一种基于离线同步工具的数据采集方法、装置及储存介质，用于提高数据采集效率。本申请包括：平台通过离线同步工具确定待采集数据的源数据库，并建立与所述源数据库的数据传输通道，所述离线同步工具集成在所述平台内部，所述平台还集成有任务调度器；所述平台根据所述源数据库的类型获取任务调度模板；所述平台根据所述任务调度模板及所述源数据库构建采集任务；所述平台通过所述离线同步工具及所述任务调度器执行所述采集任务；所述平台根据所述采集任务在所述数据传输通道上将所述待采集数据采集到目标数据库中。
-
公开(公告)号：CN119003920A
公开(公告)日：2024-11-22
申请号：CN202411481452.6
申请日：2024-10-23
Applicant: 中电科大数据研究院有限公司
IPC: G06F16/958 , G06F16/951 , G06N3/042 , G06N3/0464
Abstract: 本申请公开了一种网页信息分类方法、装置及存储介质，用于信息分类领域。本申请方法包括：使用Python的Scrapy库从目标网页获取网页中的静态数据；使用Selenium自动化工具从目标网页获取网页的动态数据；基于所述静态数据和所述动态数据构建DOM树形结构；使用XLM‑RoBERTa预训练语言模型对已构建DOM树形结构的所述静态数据和所述动态数据进行向量化，转化为数值向量；将DOM树形结构转换为图结构，并将数值向量输入卷积图神经网络模型中，通过卷积图神经网络模型对图结构进行编码，生成特征向量；将所述特征向量输入预配置的分类模型中进行计算，通过预配置的分类模型对所述静态数据和所述动态数据进行分类。
-
公开(公告)号：CN117391071B
公开(公告)日：2024-02-27
申请号：CN202311639781.4
申请日：2023-12-04
Applicant: 中电科大数据研究院有限公司
IPC: G06F40/258 , G06F40/216 , G06F40/268 , G06F40/284 , G06F16/35
Abstract: 本申请公开了一种新闻话题数据挖掘方法、装置及存储介质，包括：采集新闻发稿量的时序数据，并通过预配置的时间窗口对时序数据进行划分；基于时间窗口的时间刻度，将时序数据转换为一维向量；计算一维向量的一阶差分向量；通过符号函数遍历一阶差分向量，生成趋势向量；从趋势向量的尾部进行遍历，根据预配置的修正规则对趋势向量中的零值进行修正；对修正后的趋势向量进行一阶差分计算，得到二阶差分值；根据二阶差分值对时序数据划分为多个独立的事件群；获取事件群中所有新闻的文本数据；将文本数据转换为TF‑IDF向量；对TF‑IDF向量进行基于密度的文本聚类，得到多个事件新闻群；(56)对比文件Zhang Tingting 等.Multi-dimensiontopic mining based on hierarchicalsemantic graph model《.IEEE access》.2020,第8卷64820-64835.Tang Dan 等.The detection of low-rateDoS attacks using the SADBSCAN algorithm.《Information Sciences》.2021,第565卷229-247.
-
Patent Agency Ranking
公开(公告)号：CN117453677A
公开(公告)日：2024-01-26
申请号：CN202311607734.1
申请日：2023-11-27
Applicant: 中电科大数据研究院有限公司
IPC: G06F16/215 , G06F16/25 , G06N3/0464 , G06N3/08
Abstract: 本申请揭示了一种基于大数据的存储计算平台，包括数据源管理层、数据资源池、数据处理层以及数据服务层。数据管理层负责接入和采集数据，数据资源池进行数据感知分类，数据处理层将接入的数据分类为结构化、非结构化和半结构化，并进行离线和实时数据处理。实时数据处理使用Flink计算引擎，数据处理层包括数据源组件、数据ETL组件和数据输出组件，数据源组件采集Kafka消息队列数据，数据ELT组件使用可自定义的FlinkSQL，数据输出组件以Hbase为数据仓库。数据处理层还包括数据检测单元，用于异常检测，包括数据加载模块、数据时间序列化模块和神经网络模块，神经网络模块配置有目标卷积神经网络模型，该模型中包含L2正则化项和Dropout项，这两项位于同一层或不同层。
-
公开(公告)号：CN119377410B
公开(公告)日：2025-04-11
申请号：CN202411960482.5
申请日：2024-12-30
Applicant: 中电科大数据研究院有限公司 , 太极计算机股份有限公司
IPC: G06F16/35 , G06F16/36 , G06F18/2415
Abstract: 本申请公开了一种数据分类方法、系统及相关装置，用于对数据进行快速且准确的分类。本申请方法包括：获取数据来源信息，对数据来源信息进行数据提取，得到目标数据；获取全量主题词库和部门主题词库；基于全量主题词库判断目标数据是否存在主题；若是，则从全量主题词库中提取主题；若否，则通过预设学习模型对目标数据进行分类，得到数据分类结果；当目标数据存在主题时，判断主题是否唯一；若是，则将主题作为数据分类结果；若否，则基于部门主题词库确定目标数据的部门主题；当主题不唯一时，判断主题与部门主题是否重叠；若是，则将主题或部门主题作为数据分类结果；若否，则通过预设学习模型对主题与部门主题进行分类，得到数据分类结果。
-
公开(公告)号：CN119377410A
公开(公告)日：2025-01-28
申请号：CN202411960482.5
申请日：2024-12-30
Applicant: 中电科大数据研究院有限公司 , 太极计算机股份有限公司
IPC: G06F16/35 , G06F16/36 , G06F18/2415
Abstract: 本申请公开了一种数据分类方法、系统及相关装置，用于对数据进行快速且准确的分类。本申请方法包括：获取数据来源信息，对数据来源信息进行数据提取，得到目标数据；获取全量主题词库和部门主题词库；基于全量主题词库判断目标数据是否存在主题；若是，则从全量主题词库中提取主题；若否，则通过预设学习模型对目标数据进行分类，得到数据分类结果；当目标数据存在主题时，判断主题是否唯一；若是，则将主题作为数据分类结果；若否，则基于部门主题词库确定目标数据的部门主题；当主题不唯一时，判断主题与部门主题是否重叠；若是，则将主题或部门主题作为数据分类结果；若否，则通过预设学习模型对主题与部门主题进行分类，得到数据分类结果。
-
公开(公告)号：CN117792650A
公开(公告)日：2024-03-29
申请号：CN202311658760.7
申请日：2023-12-04
Applicant: 中电科大数据研究院有限公司
Abstract: 本发明公开了一种跨链身份认证方法、跨链交易方法及系统，跨链身份认证方法包括：中继链接收第一应用链A发送的用于访问第二应用链B的身份认证请求和请求签名；中继链利用第一应用链A的公钥PKA验证所述请求签名的有效性；如果验证所述请求签名有效，并且第二应用链B的数字身份已在中继链注册，则中继链对所述请求签名进行签名并加密，将签名密文后发送给第二应用链B，以使第二应用链B对第一应用链A进行身份认证。利用本发明方案，可以在区块链跨链交易场景下快速安全地实现共识节点间的身份认证。
-
公开(公告)号：CN117453789A
公开(公告)日：2024-01-26
申请号：CN202311595453.9
申请日：2023-11-27
Applicant: 中电科大数据研究院有限公司
Abstract: 本申请实施例公开了一种自适应的物联网数据管理方法及相关设备，可根据接入数据量的大小，并基于不同的时序数据库、感知数据库、数据仓库来实现对物联网数据的统一管理，有效减少资源的浪费，从而满足物联网数据的管理需求。本申请包括：获取目标物联网数据，所述目标物联网数据包括物联网数据源信息和实时的物联网数据信息；确定单位时间内获取到的所述目标物联网数据的数据总量以及每秒获取所述目标物联网数据的速率；使用Z‑分数计算所述数量总量的第一偏离分数和所述每秒获取所述目标物联网数据的速率的第二偏离分数；根据所述第一偏离分数和所述第二偏离分数计算总偏离分数；根据所述总偏离分数确定目标阈值。
-
-
-
-
-
-
-
-
-
Search Results
21
records
(took 0.026 seconds)
