-
公开(公告)号：CN106446168A
公开(公告)日：2017-02-22
申请号：CN201610849787.8
申请日：2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法，属于信息处理领域；具体为：首先，初始化系统启动参数；加载器管理模块为每个线程各申请一个加载器；每个线程各创建一个数据解析模块，对客户端数据进行解析并传输给加载器；每个加载器分别调用数据校验模块进行检验；然后，将检验后的字段数据缓存到数据缓存模块，进行管理并传输给数据传输模块；通过分布式节点监听模块获取每个分布式数据仓库的监听状态，并发送给数据传输模块；最后，数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率，符合目前的应用需求，具有广阔的应用前景。
-
公开(公告)号：CN109885642B
公开(公告)日：2021-11-02
申请号：CN201910119254.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种面向全文检索的分级存储方法及装置，所述方法包括：获取SQL语句，创建全文检索表，并将所述全文检索表持久化到Zookeeper中；配置ElasticSearch集群中一部分节点使用SSD盘，另一部分节点使用SATA盘，并在每个节点上安装自定义的ElasticSearch插件；数据加载工具通过ElasticSearch集群的调用接口API将文档数据加载到ElasticSearch集群中，通过所述ElasticSearch插件对请求进行过滤，并使用预先存储的全文检索表中的元数据进行索引创建；通过所述ElasticSearch插件运行监听策略，监听Zookeeper中表的元数据信息的变化，并应用分级存储策略，执行定时回滚策略，将回滚任务下发给ElasticSearch集群。
-
公开(公告)号：CN107066546B
公开(公告)日：2021-03-09
申请号：CN201710165501.9
申请日：2017-03-20
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/2458
Abstract: 本发明涉及一种基于MPP引擎的跨数据中心快速查询方法和系统，属于大数据检索分析领域，可应用于实时系统或离线备份系统。该方法将不同MPP引擎中的数据进行统一标记并存储到元数据中；全局中心节点接收查询请求并对其进行语法解析，然后分发送到对应的数据分中心节点；各数据分中心节点通过元数据的相应MPP引擎进行查询，并将数据传输给全局中心节点；全局中心节点利用MPP引擎对数据分中心节点返回的数据进行快速查询，并输出查询结果。本发明能够实现不同数据中心数据的联合查询，兼容多种MPP引擎，充分利用不同存储模式的特点优化查询，支持多种方式导出查询结果，便于实现上层不同应用对结果数据再分析的不同要求。
-
公开(公告)号：CN106649462B
公开(公告)日：2019-11-08
申请号：CN201610849788.2
申请日：2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
Abstract: 本发明提供了一种针对海量数据全文检索场景的实现方法，属于海量数据全文检索领域。本发明将Lucene引入检索引擎，对集群中已经存在的数据文件建立Lucene索引文件。在每个存储Lucene索引文件的节点上，设置有一个守护进程对该节点的Lucene索引文件进行维护。本发明优化协调器对fragment的调度机制，对每个执行节点进行计数判断，调整每个fragment的执行位置，以均衡节点资源。本发明还优化全文读取引擎机制，优先采用Lucene进行检索，当出现问题时调用RCFile检索，以保证检索的持续性和正确性。本发明提高了检索性能，可更加合理地利用集群的资源。
-
公开(公告)号：CN108512902A
公开(公告)日：2018-09-07
申请号：CN201810159206.7
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L29/08
Abstract: 本发明公开了一种数据共享方法和装置。该方法包括：获取数据源对应的第一元数据和数据目的对应的第二元数据；根据所述第一元数据和所述第二元数据，配置整形流程文件；根据所述第一元数据、所述第二元数据、所述整形流程文件以及预先配置的数据传输路径，生成共享场景配置文件；根据所述共享场景配置文件传输数据，实现所述数据源和所述数据目之间的数据共享。本发明通过简单配置便可构建数据共享的快速传输通道，在传输通道中，可根据元数据定义及整形流程进行自动整形，数据规范化，可以对多源数据灵活整形，使数据共享过程规范化，并且有效提高了数据共享方案的通用性和传输效率。
-
Patent Agency Ranking
公开(公告)号：CN118132710B
公开(公告)日：2025-01-24
申请号：CN202410273102.4
申请日：2024-03-11
Applicant: 中国科学院信息工程研究所
IPC: G06F16/3329 , G06F40/30 , G06F18/213
Abstract: 本发明提出了一种基于多尺度滑动窗口与动态聚合的对话级情感分析方法，涉及自然语言处理领域。本方法首先对评论对话构造对话树，通过滑动窗口构造多尺度话语窗口；然后利用预训练语言模型编码多尺度话语窗口；再基于对话情感预测模型根据编码的多尺度话语窗口特征表示进行预测，生成多尺度话语窗口预测结果并进行动态聚合；利用多任务学习，构造窗口级、线程级和对话级损失函数，训练优化对话情感预测模型。本方法在无需设计复杂网络的情况下提高在由多轮对话情感分析的预测效果。
-
公开(公告)号：CN118228733B
公开(公告)日：2024-12-17
申请号：CN202410221099.1
申请日：2024-02-28
Applicant: 中国科学院信息工程研究所
IPC: G06F40/30 , G06F40/211 , G06N3/0464 , G06N3/045 , G06N3/0442 , G06N3/042 , G06F18/25
Abstract: 本发明提出一种基于图神经网络的微博评论对话情感分析方法及系统，涉及自然语言处理和图神经网络领域。首先利用图卷积神经网络分析每条评论的词性和依赖关系，获得单个评论的局部句法信息，同时利用图注意力神经网络对评论之间的关系进行建模得到具有全局特征的语义信息。最后经过融合模块将局部的句法信息和全局的语义信息进行融合，获得含有丰富对话信息的特征，提升了对话级情感分析的准确性。
-
公开(公告)号：CN110287150B
公开(公告)日：2021-05-11
申请号：CN201910405408.X
申请日：2019-05-16
Applicant: 中国科学院信息工程研究所
IPC: G06F16/13 , G06F16/16 , G06F16/182
Abstract: 本发明公开了一种大规模存储系统元数据分布式管理方法与系统。本发明将HDFS存储于NameNode内存中的元数据抽象成二维表的结构，以二维表的形式存储在分布式数据库中；抽象后的各二维表之间通过inode_id相互关联。Namenode成为客户端存取元数据的桥梁，客户端首先连接Namenode，Namenode来操作分布式数据库中的元数据，并将元数据返回给客户端。本发明解决了HDFS的单点故障问题。
-
公开(公告)号：CN107491487B
公开(公告)日：2020-12-04
申请号：CN201710582509.5
申请日：2017-07-17
Applicant: 中国科学院信息工程研究所
IPC: G06F16/22 , G06F16/2452 , G06F16/2453
Abstract: 本发明公开了一种全文数据库架构及位图索引创建、数据查询方法、服务器及介质。本发明的全文数据库架构包括：数据模块，用于记录全文数据库的数据库表名及其索引字段信息；存储模块，包括若干独立的数据块，用于存储数据库表的数据和索引信息；加载模块，用于根据元数据模块中的索引信息将各所述数据库表的数据加载到所述数据块，当一数据块写满时，则将该数据块标记为稳态；索引创建模块，用于对于标记为稳态数据块，生成该数据块的索引；查询模块，用于根据查询语句在所述元数据模块中进行查找，如果找到匹配的索引字段，则查找各数据块的索引，然后根据数据块的索引判断该数据块是否满足查询条件。本发明大大提高了查询速度和数据库吞吐率。
-
公开(公告)号：CN103678158A
公开(公告)日：2014-03-26
申请号：CN201310732673.1
申请日：2013-12-26
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种数据布局优化方法，具体包括以下步骤：步骤1：接收业务系统输入的连续数据流；步骤2：将数据流划分为连续无交叉的多个数据块；步骤3：判断待处理的数据块是否达到缓存上限，如果是，进行下一步；否则，跳转至步骤1；步骤4：计算得到缓存中的所有数据块的指纹；步骤5：将缓存中数据块的指纹与指纹列表中的指纹进行匹配，将匹配的数据块标记为重复数据块；将不指纹匹配的指纹存入指纹列表中；步骤6：更新数据块信息表中的数据块的物理位置信息；步骤7：根据数据块信息表中的各个数据块的物理位置信息存储对应的数据块。本发明提高了数据的顺序性，降低了数据布局的离散化，提高了重复数据删除系统的顺序读写性能。
-
-
-
-
-
-
-
-
-
Search Results
53
records
(took 0.086 seconds)
