-
公开(公告)号：CN110264392A
公开(公告)日：2019-09-20
申请号：CN201910371236.9
申请日：2019-05-06
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提出一种基于多GPU的强连通图检测方法，包括以下步骤：加载图数据并统一存储格式；对图数据进行预处理，包括按照分区个数进行图分割并进行分区保存，对相互链接的处于不同分区的顶点进行复制顶点处理；将预处理好的数据存入多个GPU中，以复制顶点为中心进行广度优先遍历并记录复制边信息；将复制边传回CPU，检测强连通图并标记属于同一个强连通图的顶点；将标记的顶点传回上述多个GPU中，进行强连通图检测。
-
公开(公告)号：CN109993198A
公开(公告)日：2019-07-09
申请号：CN201811600061.6
申请日：2018-12-26
Applicant: 中国科学院信息工程研究所
IPC: G06K9/62
Abstract: 本发明提出了一种基于特征同构共享描述的多源异构离群点检测方法，通过在特征同构空间中统一地检测来自异构数据集的离群点，以避免浪费不同来源之间的互补信息，并提高多源离群点的识别率，能够解决在一个一致的特征同构空间中识别所有类型的多源异构离群点的问题。
-
公开(公告)号：CN108388603A
公开(公告)日：2018-08-10
申请号：CN201810113980.4
申请日：2018-02-05
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明提供一种基于Spark框架的分布式概要数据结构的构建方法及查询方法，以Spark平台为基础，利用q-digest结构获得数据区间分布情况，BloomFilter获取组员存在信息，HyperLogLogPlus记录数据基数信息，实现高吞吐低延迟的处理能力，且能够快速响应查询要求，有效适应Spark分布式计算环境，返回误差可控的近似计算结果。本发明还提供一种基于Spark框架的分布式概要数据结构的构建及查询系统。
-
公开(公告)号：CN104657459B
公开(公告)日：2018-02-16
申请号：CN201510066822.4
申请日：2015-02-09
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明公开了一种基于文件粒度的海量数据存储方法。本方法为：1)将数据存储集群划分为多个分区，每一分区具有一分区值；2)对每一部门的记录创建一业务数据表，并设置每一业务数据表中记录的分区规则；3)对于待存储业务数据的每一记录，根据其编号和分区规则将其存储到对应分区的文件中并创建索引文件；然后将该记录的编号、所在文件的路径、所属存储节点编号、存储设备编号存储到元数据文件中。进一步的，本发明创建设定业务数据表之间的视图，根据所述元数据文件，将属于同一业务场景的业务数据表、视图、记录所在分区、索引信息划入到同一数据库中，得到一海量元数据管理模型。本发明既提高了数据管理精度，又提高数据划分、组织灵活性。
-
公开(公告)号：CN107391555A
公开(公告)日：2017-11-24
申请号：CN201710422553.X
申请日：2017-06-07
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F16/2379 , G06F16/24552 , G06F16/27
Abstract: 本发明涉及一种面向Spark-Sql检索的元数据实时更新方法。该方法在Spark Sql进行检索时，会将使用的元数据进行缓存，将被检索的数据块文件元数据以集合的形式缓存于内存中；当获得文件元数据的增量信息时，将首先检查该增量信息所属的表的检索元数据是否存在于缓存之中，若存在，则将增量的文件元数据增加至缓存的该表文件元数据的集合之中，由此完成Spark Sql检索元数据的增量更新。本发明还提出了对Spark Sql检索元数据增加情况的处理方法，可以实时的对检索元数据的增加情况进行处理，提高检索结果的实时性。本发明可以避免对检索元数据进行经常性的全量更新，以减少更新元数据时的时间和资源开销。
-
Patent Agency Ranking
公开(公告)号：CN105760896A
公开(公告)日：2016-07-13
申请号：CN201610165595.5
申请日：2016-03-22
Applicant: 中国科学院信息工程研究所
IPC: G06K9/62
CPC classification number: G06K9/6218 , G06K9/6259
Abstract: 本发明涉及一种多源异构大数据的腐蚀源联合去噪方法。该方法包括两个模型，一个为异构线性度量学习(HLML)模型，另一个为多源半监督联合去噪(MSCD)模型。其中，通过学习多个异构线性度量，HLML模型将多源异构数据线性投影到一个高维特征同构空间，并在这个空间中充分嵌入异源间的互补信息，从而可以有效地捕捉到不同来源间的语义互补性和分布相似性。为了消除源内和源间噪声，MSCD模型利用初等变换约束和梯度能量竞争策略，在HLML模型学习到的特征同构空间中修复异构有噪描述间的互补关系，进而净化多源异构数据的腐蚀源，有助于获得准确且鲁棒的多源数据评估分析结果。
-
公开(公告)号：CN104657744A
公开(公告)日：2015-05-27
申请号：CN201510046879.8
申请日：2015-01-29
Applicant: 中国科学院信息工程研究所
IPC: G06K9/62
CPC classification number: G06K9/6256 , G06K9/627
Abstract: 本发明公开了一种基于非确定主动学习的多分类器训练方法及分类方法。本方法为：1)选取或初始化一多分类器；对未标注样本集中的每一样本，利用该多分类器计算该样本的总体信息量Info；所述总体信息量为：模型变更信息量与模型调优信息量之和；2)对该未标注样本集进行聚类，得到J个子类；3)从每个子类中选取总体信息量Info值最小的若干未标注样本；再从所选样本中选取K个样本进行标注后加入到已标注样本集L；4)将更新后的已标注集L作为训练数据重新训练该多分类器；5)迭代执行步骤1)～4)设定次数；然后利用最终得到的多分类器对未标注集进行分类。本发明实现样本信息量的综合评价，从而获得高效化、智能化的多分类器。
-
公开(公告)号：CN104657459A
公开(公告)日：2015-05-27
申请号：CN201510066822.4
申请日：2015-02-09
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/30091 , G06F17/30082 , G06F17/30194
Abstract: 本发明公开了一种基于文件粒度的海量数据存储方法。本方法为：1)将数据存储集群划分为多个分区，每一分区具有一分区值；2)对每一部门的记录创建一业务数据表，并设置每一业务数据表中记录的分区规则；3)对于待存储业务数据的每一记录，根据其编号和分区规则将其存储到对应分区的文件中并创建索引文件；然后将该记录的编号、所在文件的路径、所属存储节点编号、存储设备编号存储到元数据文件中。进一步的，本发明创建设定业务数据表之间的视图，根据所述元数据文件，将属于同一业务场景的业务数据表、视图、记录所在分区、索引信息划入到同一数据库中，得到一海量元数据管理模型。本发明既提高了数据管理精度，又提高数据划分、组织灵活性。
-
公开(公告)号：CN103218176A
公开(公告)日：2013-07-24
申请号：CN201310113197.5
申请日：2013-04-02
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种数据处理方法及装置。其中，数据处理方法包括：创建共享内存环，所述共享内存环为存储待操作数据的环形结构空间；在对共享内存环中下一个操作目的单元进行操作前，将所述下一个操作目的单元的操作标志位设置为对应下一个操作的操作类型；判断所述下一个操作目的单元是否能够进行所述下一个操作；根据判断结果对所述下一个操作目的单元中的数据进行处理。本发明的数据处理方法及装置，设计了一种共享内存中的环形数据结构，结合生产者和消费者的数据协调规则和共享内存环覆写机制，基于原子位操作对环的控制标识位进行更新，提高了数据并行处理场景下共享资源的数据读写效率，减小数据同步的开销，从而解决了共享资源读写效率低、同步开销大的问题。
-
公开(公告)号：CN114489964B
公开(公告)日：2025-03-04
申请号：CN202111517469.9
申请日：2021-12-08
Applicant: 中国科学院信息工程研究所
IPC: G06F9/48 , G06N3/098 , G06N3/084 , G06N3/0499
Abstract: 本发明公开了一种基于联邦学习的车载网络信用优先任务卸载方法，其步骤包括：1)EC、CV分别将自己的位置信息和可用资源信息发送给CC；其中，EC为边缘云服务器，CV为车辆网中的车辆，CC为云中心；2)当CV需要进行任务卸载时，发送卸载任务信息给DC；其中，DC为车辆网中的决策中心；3)对于当前一批待处理的卸载任务，DC从CC获取发送卸载任务的各CV的信誉值；然后根据信用值设置各卸载任务的处理优先级，优先为处理优先级高的卸载任务制定任务卸载决策并发送给对应的EC和CV；其中，CC根据CV的行为信息计算对应CV的所述信誉值。本发明将信誉值用在任务卸载决策中，从而实现决策性能的提高。
-
-
-
-
-
-
-
-
-
Search Results
98
records
(took 0.064 seconds)
