-
公开(公告)号:CN108255712B
公开(公告)日:2021-05-14
申请号:CN201711486827.8
申请日:2017-12-29
Applicant: 曙光信息产业(北京)有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F11/36
Abstract: 本发明提供了一种数据系统的测试系统和测试方法。数据系统的测试系统包括:用户层,用于为用户提供访问所述测试系统的方式;中间应用层,用于从所述用户层接收所述用户提交的请求,并且对于底层大数据平台协调多个任务进行请求的解析和处理;以及底层大数据平台,为所述数据系统的数据存储层并且包括本地文件系统、分布式文件系统以及数据库,其中,所述中间应用层进一步包括数据访问接口,用于读取和访问各类大数据平台的数据和文件。本发明面向海量数据加载存储检索,针对大数据软件的特点,提供了全面完善的测试系统。
-
公开(公告)号:CN108255712A
公开(公告)日:2018-07-06
申请号:CN201711486827.8
申请日:2017-12-29
Applicant: 曙光信息产业(北京)有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F11/36
Abstract: 本发明提供了一种数据系统的测试系统和测试方法。数据系统的测试系统包括:用户层,用于为用户提供访问所述测试系统的方式;中间应用层,用于从所述用户层接收所述用户提交的请求,并且对于底层大数据平台协调多个任务进行请求的解析和处理;以及底层大数据平台,为所述数据系统的数据存储层并且包括本地文件系统、分布式文件系统以及数据库,其中,所述中间应用层进一步包括数据访问接口,用于读取和访问各类大数据平台的数据和文件。本发明面向海量数据加载存储检索,针对大数据软件的特点,提供了全面完善的测试系统。
-
公开(公告)号:CN113918762B
公开(公告)日:2024-07-19
申请号:CN202111261113.3
申请日:2021-10-28
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F16/71 , G06F16/78 , G06F16/783 , G06F16/955
Abstract: 本发明公开了一种视频结构化信息的处理方法、装置、设备及存储介质,该方法包括:对输入的视频图像进行视频结构化处理,获取对应的特征向量、时间信息和视频图像标识;并将该特征向量存储至时间信息对应的特征向量存储文件,以及将视频图像标识作为该特征向量的索引,存储至时间信息对应的特征向量索引存储文件。本发明实施例的技术方案,通过将特征向量单独存储至时间信息对应的特征向量存储文件,并生成对应的索引存储至特征向量索引存储文件,可以避免开发额外数据库插件进行特征向量相似度的计算,可以减少特征向量相似度比对的耗时,提升目标对象识别效率。
-
公开(公告)号:CN103544298B
公开(公告)日:2017-09-08
申请号:CN201310528778.5
申请日:2013-10-30
Applicant: 曙光信息产业(北京)有限公司 , 曙光信息产业股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种组件的日志分析方法和分析装置。该分析方法包括:接收用户输入的需要调用的分析函数的标识;根据标识,判断该标识所对应的分析函数是否存在于预先配置的分析函数库中,并在判断结果为否的情况下,提示用户输入需要调用的分析函数的语句;将用户输入的分析函数的语句保存至分析函数库中;从分析函数库中调用并执行分析函数,以对组件的日志进行分析。本发明通过用户根据自身需求定制分析函数库,而且,用户只需提供分析函数的标识、和/或参数,系统便可以自动调用并执行该标识所对应的分析函数,完成对日志的分析操作,无需用户参与,提高了组件日志分析工具的智能性和普适性,降低了用户的操作难度和出错概率。
-
公开(公告)号:CN106250519A
公开(公告)日:2016-12-21
申请号:CN201610633323.3
申请日:2016-08-04
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F16/24556 , G06F16/244 , G06F16/2456 , G06F16/278
Abstract: 本发明公开了一种用于并行数据库的数据查询方法和装置,该方法包括:在各个数据库节点上对目标数据表按照目标数据表与其他数据表之间的相应关联字段分别进行目标数据的分组聚合;在各个数据库节点上对相应的分组聚合结果和相应的其他数据表按照相应的关联字段分别进行哈希方式的数据重划分;将各个数据库节点的分组聚合结果的数据重划分结果和其他数据表的数据重划分结果均汇总到一个目标数据库节点;在目标数据库节点上对分组聚合结果的数据重划分结果和其他数据表的数据重划分结果进行目标数据的连接聚合。本发明能够实现数据的聚合查询,同时调高查询的并行性,提升集群的资源利用率,并降低网络开销,提高查询的性能。
-
公开(公告)号:CN103544298A
公开(公告)日:2014-01-29
申请号:CN201310528778.5
申请日:2013-10-30
Applicant: 曙光信息产业(北京)有限公司 , 曙光信息产业股份有限公司
IPC: G06F17/30
CPC classification number: G06F11/3495
Abstract: 本发明公开了一种组件的日志分析方法和分析装置。该分析方法包括:接收用户输入的需要调用的分析函数的标识;根据标识,判断该标识所对应的分析函数是否存在于预先配置的分析函数库中,并在判断结果为否的情况下,提示用户输入需要调用的分析函数的语句;将用户输入的分析函数的语句保存至分析函数库中;从分析函数库中调用并执行分析函数,以对组件的日志进行分析。本发明通过用户根据自身需求定制分析函数库,而且,用户只需提供分析函数的标识、和/或参数,系统便可以自动调用并执行该标识所对应的分析函数,完成对日志的分析操作,无需用户参与,提高了组件日志分析工具的智能性和普适性,降低了用户的操作难度和出错概率。
-
公开(公告)号:CN119788656A
公开(公告)日:2025-04-08
申请号:CN202311294727.0
申请日:2023-10-08
Applicant: 曙光信息产业(北京)有限公司
IPC: H04L67/06 , H04L67/1008 , H04L67/1034
Abstract: 本申请涉及一种数据传输方法、装置、设备、系统、介质和程序产品。所述方法包括:首先获取各用户端发送的文件传输请求,然后获取与目标负载均衡器连接的多个文件传输协议FTP服务器的负载信息,最后根据各FTP服务器的负载信息,采用预设的负载均衡策略将各文件传输请求分发至相应的FTP服务器中,其中,FTP服务器中的文件传输请求用于指示相应的FTP服务器根据文件传输请求操作分布式文件系统HDFS以实现数据传输。采用本方法能够根据FTP服务器的负载信息和负载均衡策略将接收到的文件传输请求进行分发,传输效率更高。
-
公开(公告)号:CN108132930A
公开(公告)日:2018-06-08
申请号:CN201711446082.2
申请日:2017-12-27
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明公开了一种特征词提取方法及装置,该特征词提取方法包括:利用TF-IDF加权方法对文本的词语集合中的词语进行权重计算得到词语权重;根据文本中的同义词生成同义词集合,并根据词语权重对同义词集合中的同义词进行合并加权;根据合并加权后的权重值生成候选特征词集合以选取特征词。上述技术方案基于TF-IDF方法,实现了一种优化的文本的特征词提取方法,并具有较好的分析效果。
-
公开(公告)号:CN116521757A
公开(公告)日:2023-08-01
申请号:CN202310485951.1
申请日:2023-04-28
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F16/2458 , G06F9/54 , G06F16/22
Abstract: 本发明公开了一种时序数据处理方法、装置、设备以及存储介质。该方法包括:响应于对目标时序数据的写入请求,确定所述目标时序数据对应的测点信息和测量数据;基于预设的文档搜索引擎,确定所述测点信息对应的测点编号;根据所述测量数据和所述测点编号,将所述目标时序数据写入预设数据库和共享内存队列中。本发明的技术方案,可以基于文档搜索引擎快速确定目标时序数据对应的测点编号,提高目标时序数据的写入效率,同时,通过将目标时序数据分别写入预设数据库和共享内存队列,有助于后续针对性地对目标时序数据的检索请求和广播请求进行响应,提高时序数据处理效率。
-
公开(公告)号:CN114691781A
公开(公告)日:2022-07-01
申请号:CN202210355029.6
申请日:2022-04-06
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明公开了一种数据同步方法、系统、装置、设备及介质。该方法包括:对源数据库进行监听,形成监听日志,监听日志中包括至少一个同步数据项,每个同步数据项中包括操作数据,以及与操作数据匹配的操作类型;根据所述监听日志,形成与各同步数据项分别对应的数据同步请求;在备选代理服务器集群中,确定目标代理服务器;将各所述数据同步请求发送至目标代理服务器,以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。通过本发明的技术方案,能够实现高效地进行数据同步,提高了数据同步的效率以及可用性。
-
-
-
-
-
-
-
-
-