公开(公告)号：CN104408159B

公开(公告)日：2018-01-16

申请号：CN201410734165.1

申请日：2014-12-04

Applicant: 曙光信息产业(北京)有限公司

Inventor： 黄小川 ,  惠润海 ,  宋怀明

IPC: G06F17/30

Abstract: 本发明提供了一种数据关联、加载、查询方法及装置，方法包括如下步骤确定需要关联的两个数据对象，将两个数据对象中数据量较小的数据对象以(key，value)方式放入内存的类Hashtable结构中，对另一数据对象中的每条记录生成对应的key值，通过对key值进行哈希Hash确定每条记录是否与内存中的key值关联；当存在关联时，将所有存在关联的记录作为新数据对象输出；将关联后的新数据对象加载到Hadoop平台的指定组件上；当接收到查询请求时，根据查询字段在关联后的新数据对象中进行查找并返回查询结果；本发明所提供的技术方案，优化了数据对象关联机制，进而提高了系统的关联查询效率。

公开(公告)号：CN106844539A

公开(公告)日：2017-06-13

申请号：CN201611255750.9

申请日：2016-12-30

Applicant: 曙光信息产业(北京)有限公司

Inventor： 李晋钢 ,  郭庆 ,  黄小川 ,  惠润海 ,  宋怀明

IPC: G06F17/30

CPC classification number: G06F17/30321 ,  G06F17/30477 ,  G06F17/30545

Abstract: 本发明公开了一种实时数据分析方法和实时数据分析系统，该实时数据分析方法包括：根据需求构造检索算子、读取算子、和聚合分析算法；根据检索算子和读取算子对索引表和数据表进行检索以获取分析字段数据；以及根据聚合分析算法对分析字段数据进行聚合分析；其中，索引表和数据表均采用key‑value形式的列式存储，索引表配置为分析数据的各个字段与对应的字段数据的索引表。能够提升索引的灵活性和数据聚合分析性能。

公开(公告)号：CN105512266A

公开(公告)日：2016-04-20

申请号：CN201510881937.9

申请日：2015-12-03

Applicant: 曙光信息产业(北京)有限公司

Inventor： 黄小川

IPC: G06F17/30

CPC classification number: G06F16/2365 ,  G06F16/27

Abstract: 本申请提供了一种实现分布式数据库操作一致性的方法及装置，包括：leader节点接收客户端发送的DML操作指令；leader节点将DML操作指令追加到本地日志log中，并将包括DML操作指令的日志同步复制至follower节点；follower节点将leader节点发送的DML操作指令追加到本地日志log中，所述leader节点和所述follower节点的本地状态机分别从各自的本地log中依次读取DML操作指令并放到数据库中执行。采用本申请提供的方案可以避免角色混乱现象出现，确保数据一致性，且客户端需要同步等待的开销大大降低，从而提高了整个系统正常运行的吞吐量。

公开(公告)号：CN104408159A

公开(公告)日：2015-03-11

申请号：CN201410734165.1

申请日：2014-12-04

Applicant: 曙光信息产业(北京)有限公司

Inventor： 黄小川 ,  惠润海 ,  宋怀明

IPC: G06F17/30

CPC classification number: G06F17/30628 ,  G06F17/30657 ,  G06F17/30911 ,  G06F17/30929

Abstract: 本发明提供了一种数据关联、加载、查询方法及装置，方法包括如下步骤确定需要关联的两个数据对象，将两个数据对象中数据量较小的数据对象以(key，value)方式放入内存的类Hashtable结构中，对另一数据对象中的每条记录生成对应的key值，通过对key值进行哈希Hash确定每条记录是否与内存中的key值关联；当存在关联时，将所有存在关联的记录作为新数据对象输出；将关联后的新数据对象加载到Hadoop平台的指定组件上；当接收到查询请求时，根据查询字段在关联后的新数据对象中进行查找并返回查询结果；本发明所提供的技术方案，优化了数据对象关联机制，进而提高了系统的关联查询效率。