公开(公告)号：CN105306552A

公开(公告)日：2016-02-03

申请号：CN201510641915.5

申请日：2015-09-30

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  欧陈庚 ,  张敬亮 ,  宋凯凯

IPC: H04L29/08 ,  G06Q10/06

CPC classification number: Y02D50/10 ,  H04L67/2842 ,  G06Q10/0631 ,  G06Q10/06316

Abstract: 本发明公开了一种基于消息队列的消费均衡及系统，该方法包括：排序步骤，消费者端实时依照多个消息队列的未消费消息数，对该多个消息队列进行排序；消费步骤，当消费者端所执行的任一线程需要消费消息时，均以未消费消息数最大的消息队列作为目标队列，从该目标队列中获取消息，进行消费。通过本发明的上述技术方案，不管生产者端以何种策略生产消息，或者消费者端每次是否拉取相同条数的消息，或者服务器是否发生了宕机，本发明均可以保证未消费数最大的消息队列在下一次消费的时候得到了消费，维护整个消息队列的消费均衡，不会出现某个消息队列的消息积压的现象。

公开(公告)号：CN106648934B

公开(公告)日：2019-12-03

申请号：CN201611228895.X

申请日：2016-12-27

Applicant: 中国科学院计算技术研究所 ,  中科天玑数据科技股份有限公司

Inventor： 程学旗 ,  欧陈庚 ,  郑天祺 ,  张敬亮 ,  靳小龙

IPC: G06F9/54 ,  G06F16/21

Abstract: 本发明公开了一种Impala与HBase之间的高效数据传输方法及系统。该方法包括：步骤1，将Impala发出的查询语句编译为查询指令，该查询指令的数量与HBase的Region的数量相同；步骤2，每个该查询指令对应查询该HBase的一个Region，所有该查询指令并行对该HBase进行查询，所获得的查询结果并行传输至一缓冲区；步骤3，以socket的方式，将该缓冲区中存储的数据传输至Impala。本发明具有较高的传输性能，且通过采用以socket传输二进制数据的方式，使得本发明在数据传输层，没有序列化以及反序列化的开销，不存在性能瓶颈，使得传输性能比JNI的传输方式更加高效。