-
公开(公告)号:CN115017217B
公开(公告)日:2024-11-01
申请号:CN202210566652.6
申请日:2022-05-23
Applicant: 北京计算机技术及应用研究所
Abstract: 本发明涉及一种流式地理轨迹数据的治理方法,属于大数据领域。本发明针对流式地理轨迹数据的特点,提供了一种基于大数据的实时关联计算方法,能够有效对极大峰值的地理轨迹数据进行“消峰”处理、并发计算、实时转发、高效读写等服务。同时,通过引入轨迹目标字典完成了对实时流式地理轨迹数据的匹配,使杂乱的流式地理轨迹数据可按目标分类存储到数据库中形成历史数据。在历史轨迹数据处理过程中,通过轨迹合并,解决了批号突变问题。在目标维护模块,通过巧妙的缓冲时间设计和关键字拆分,视图映射,完成了同义词匹配和高效的数据同步功能。本发明对外提供高精度实时数据推送服务和多维度的历史数据查询服务。
-
公开(公告)号:CN115061815B
公开(公告)日:2024-03-26
申请号:CN202210701152.9
申请日:2022-06-20
Applicant: 北京计算机技术及应用研究所
IPC: G06F9/50
Abstract: 本发明涉及一种基于AHP的最优调度决策方法与系统,属于资源调度领域。本发明获取空闲状态的执行服务器及性能指标,建立AHP层次决策方法,将选择最优调度执行服务器的事件分解为目标层、准则层以及方案层,构造准则层的判断矩阵,计算准则层权重向量,并对构成的准则层判断矩阵进行一致性检验,计算方案层权重向量并对方案层判断矩阵进行一致性校验,最后将方案层判断矩阵与准则层权重向量加权计算得到各个方案对最优调度方法的加权分数,选择加权分数最高的方案,数据中台将数据采集任务分配到对应方案所代表的执行服务器。本发明缩短数据的采集时间,提高数据的采集效率。
-
公开(公告)号:CN113407538B
公开(公告)日:2023-03-10
申请号:CN202110670212.0
申请日:2021-06-17
Applicant: 北京计算机技术及应用研究所
Abstract: 本发明涉及一种多源异构关系型数据库数据的增量采集方法,属于数据仓库或者数据中台领域。本发明在数据采集过程中,利用源数据库表的记录进行哈希运算,得到记录的哈希值,与目的表中存储的哈希值进行对比,通过对记录集的排序,能够加快源数据表记录集与目的数据表记录集的对比时间复杂度。能够实现快速的增量数据采集。本方法对不依赖多源异构数据库的存储技术,利用通用的读取数据方式,并在内存中计算,适用多种数据库。因此,本发明在多源异构的关系数据库中适合快速大批量进行增量采集。
-
公开(公告)号:CN115061815A
公开(公告)日:2022-09-16
申请号:CN202210701152.9
申请日:2022-06-20
Applicant: 北京计算机技术及应用研究所
IPC: G06F9/50
Abstract: 本发明涉及一种基于AHP的最优调度决策方法与系统,属于资源调度领域。本发明获取空闲状态的执行服务器及性能指标,建立AHP层次决策方法,将选择最优调度执行服务器的事件分解为目标层、准则层以及方案层,构造准则层的判断矩阵,计算准则层权重向量,并对构成的准则层判断矩阵进行一致性检验,计算方案层权重向量并对方案层判断矩阵进行一致性校验,最后将方案层判断矩阵与准则层权重向量加权计算得到各个方案对最优调度方法的加权分数,选择加权分数最高的方案,数据中台将数据采集任务分配到对应方案所代表的执行服务器。本发明缩短数据的采集时间,提高数据的采集效率。
-
公开(公告)号:CN113901090A
公开(公告)日:2022-01-07
申请号:CN202111266120.2
申请日:2021-10-28
Applicant: 北京计算机技术及应用研究所
IPC: G06F16/2455 , G06F16/242 , G06F16/22 , G06F16/2458
Abstract: 本发明涉及一种实时态势数据引接及处理的方法,属于雷达数据处理领域。本发明的方法包括:实时数据的引接;数据的预处理,包括非空判断和中英文转换;数据机舷号统一,缺失属性补充,动态的流数据需要与静态字典数据的关联匹配,匹配到的静态字典信息填回实时态势流中;数据存储与推送:将匹配完成的实时数据,一份进行持久化存储,一份简单处理后推送到消息队列中,供应用系统调用;静态字典的动态维护与刷新。本发明提出的实时数据引接及处理的方法,接入方便,通过动态增加流任务sql的方法灵活扩展数据处理的功能,能够得到快速准确的处理结果。在需要对实时数据进行数据清洗、实时字典匹配以及流数据存储与推送场景中有着重要的应用价值。
-
公开(公告)号:CN113407538A
公开(公告)日:2021-09-17
申请号:CN202110670212.0
申请日:2021-06-17
Applicant: 北京计算机技术及应用研究所
Abstract: 本发明涉及一种多源异构关系型数据库数据的增量采集方法,属于数据仓库或者数据中台领域。本发明在数据采集过程中,利用源数据库表的记录进行哈希运算,得到记录的哈希值,与目的表中存储的哈希值进行对比,通过对记录集的排序,能够加快源数据表记录集与目的数据表记录集的对比时间复杂度。能够实现快速的增量数据采集。本方法对不依赖多源异构数据库的存储技术,利用通用的读取数据方式,并在内存中计算,适用多种数据库。因此,本发明在多源异构的关系数据库中适合快速大批量进行增量采集。
-
公开(公告)号:CN119829826A
公开(公告)日:2025-04-15
申请号:CN202411711190.8
申请日:2024-11-27
Applicant: 北京计算机技术及应用研究所
IPC: G06F16/9535 , G06F18/22 , G06F16/23
Abstract: 本发明涉及一种多属性标签与评分的数据资产推荐方法,属于数据资产推荐技术领域。本发明改变单一的关键词检索被动获取所关心的数据资产信息的现状,根据数据资产的特点,进行多维度的属性分解,并利用数据资产与数据资产、用户与数据资产、用户与用户之间的关联性,设计推荐过程,形成较为准确的数据资产推荐内容,向用户主动推荐感兴趣的数据资产,提高推荐结果的准确性。
-
公开(公告)号:CN115017217A
公开(公告)日:2022-09-06
申请号:CN202210566652.6
申请日:2022-05-23
Applicant: 北京计算机技术及应用研究所
Abstract: 本发明涉及一种流式地理轨迹数据的治理方法,属于大数据领域。本发明针对流式地理轨迹数据的特点,提供了一种基于大数据的实时关联计算方法,能够有效对极大峰值的地理轨迹数据进行“消峰”处理、并发计算、实时转发、高效读写等服务。同时,通过引入轨迹目标字典完成了对实时流式地理轨迹数据的匹配,使杂乱的流式地理轨迹数据可按目标分类存储到数据库中形成历史数据。在历史轨迹数据处理过程中,通过轨迹合并,解决了批号突变问题。在目标维护模块,通过巧妙的缓冲时间设计和关键字拆分,视图映射,完成了同义词匹配和高效的数据同步功能。本发明对外提供高精度实时数据推送服务和多维度的历史数据查询服务。
-
公开(公告)号:CN113660335A
公开(公告)日:2021-11-16
申请号:CN202110943727.3
申请日:2021-08-17
Applicant: 北京计算机技术及应用研究所
IPC: H04L29/08 , G06K9/62 , G06F16/22 , G06F16/2458
Abstract: 本发明涉及一种基于物联网的设备精细化管理方法与系统,属于物联网领域。本发明的设备通过智能终端插座接入物联网系统,智能终端插座可采集该设备的电气参数信息,通过物联网节点将电气参数信息上传到云平台;云平台中部署有人工智能的相关算法,通过对数据的智能化分析,会将分析结果传输到显示模块进行数据展示;云平台也会经智能算法的分析结果直接通过物联网节点下发控制命令给智能终端插座,实现对设备的调控;用户在显示模块可以查看到所有设备的数据。本发明集中的管理能源分配,分项计量设备能耗、预测能耗并分析节能潜力、预判电器设备的运行风险,并可以及时智能响应用户需求,为建筑用电提供节能空间。
-
公开(公告)号:CN119720991A
公开(公告)日:2025-03-28
申请号:CN202411699658.6
申请日:2024-11-26
Applicant: 北京计算机技术及应用研究所
IPC: G06F40/194 , G06F16/353 , G06F40/279 , G06F40/186 , G06F40/30 , G06F40/12 , G06F40/216 , G06F18/22 , G06N3/045
Abstract: 本发明涉及一种基于语义相似度对文本提取数据相似度匹配方法,属于自然语言处理领域。本发明获取并处理实体数据作为实体数据的标准词库,初始语义相似度模型训练,选取文档中的候选文本,获得文档主题及其分布,计算文档主题和各个事件领域的主题相似度来确定文档的类别,利用标准的事件领域划分方法,创建事件抽取模板,根据文档主题类别抽取文档数据至对应的事件抽取模板,将非结构化数据转化为结构化数据,从结构化数据中,识别实体数据作为待匹配文本,利用语义相似度模型确定待匹配文本和目标文本之间的相似度。本发明实现了对非结构化文档中的名词类文本与标准实体文本的自动匹配。
-
-
-
-
-
-
-
-
-