公开(公告)号：CN105528396A

公开(公告)日：2016-04-27

申请号：CN201510862655.4

申请日：2015-11-30

Applicant: 国网天津市电力公司 ,  国家电网公司

Inventor： 章斌 ,  李刚 ,  吴凡 ,  姚宗强 ,  江黛茹 ,  于海涛 ,  黄旭 ,  董阳

IPC: G06F17/30 ,  G06Q50/06

CPC classification number: Y04S10/60 ,  G06F16/244 ,  G06F16/248 ,  G06Q50/06

Abstract: 一种面向电力大数据可视化的信息融合方法。其包括获取电力大数据信息；将电力大数据中依赖于查询主题的特征进行一种标准化操作，将独立查询的特征进行另一种标准化操作，采用简单的线性方法联合依赖于查询主题和独立查询的特征，将各个特征融合成统一的格式；利用差分进化法和粒子群优化法，对权重参数进行优化，得到优化后的权重参数；利用上述优化后的权重参数建立BM25和狄利克雷平滑一元语言两种数据检索模型，然后在上述数据检索模型中输入电力大数据，最后输出电力大数据的融合结果。本发明可通过对电力大数据进行分析来更好地理解电力客户的电行为、合理地设计电力需求响应系统和短期负荷预测系统。

公开(公告)号：CN108009178A

公开(公告)日：2018-05-08

申请号：CN201610963771.X

申请日：2016-10-28

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 费浩峻

IPC: G06F17/30

CPC classification number: G06F16/244

Abstract: 本申请公开了信息聚合方法及装置。该方法的一具体实施方式包括：获取物品名称集合；通过每个物品名称的类型名称构成物品类型集合；执行聚合步骤，将聚合后形成的物品类型和物品类型集合中未进行聚合的物品类型形成新物品类型集合，判断新物品类型集合中是否存在符合聚合条件的两个物品类型，如果不存在，则输出新物品类型集合；如果存在，则将新物品类型集合作为物品类型集合继续执行聚合步骤。该实施方式通过每个物品名称的类型名称构成物品类型集合，然后通过类型相似度、语意相似度和文本相似度对物品类型进行聚合，最后得到聚合后的物品类型，能够对物品类型进行准确判断。

公开(公告)号：CN106021458A

公开(公告)日：2016-10-12

申请号：CN201610326272.X

申请日：2016-05-16

Applicant: 广州鼎鼎信息科技有限公司

Inventor： 魏孙鼎 ,  严荣程

IPC: G06F17/30

CPC classification number: G06F16/244 ,  G06F16/27

Abstract: 本发明公开了一种云环境下的大数据快速聚合查询方法，包括步骤一：问题的定义和基本概念；步骤二：数据划分；步骤三：基于MapReduce的大数据聚合查询，假设数据集为T，数据集的势(cardinality)为m，则T＝{ti:1≤i≤m}；数据的维度Dim(T)＝d，因此，每个ti可以表示成{t1(d)，t2(d)，…，ti(d)}，且所有的属性均为数值型；对于聚合问题而言，查询函数f通常是一个单调递增函数(increasingly monotone function)；即，如果对1≤n≤d，ti(n)≤tj(n)，则f(ti)≤f(tj)。本发明的方法能够大幅减少计算量，提高计算效率，同时，本发明的方法也有较好的扩展性。

公开(公告)号：CN106250519A

公开(公告)日：2016-12-21

申请号：CN201610633323.3

申请日：2016-08-04

Applicant: 曙光信息产业(北京)有限公司

Inventor： 郭庆 ,  李晋钢 ,  张建磊 ,  惠润海 ,  宋怀明

IPC: G06F17/30

CPC classification number: G06F16/24556 ,  G06F16/244 ,  G06F16/2456 ,  G06F16/278

Abstract: 本发明公开了一种用于并行数据库的数据查询方法和装置，该方法包括：在各个数据库节点上对目标数据表按照目标数据表与其他数据表之间的相应关联字段分别进行目标数据的分组聚合；在各个数据库节点上对相应的分组聚合结果和相应的其他数据表按照相应的关联字段分别进行哈希方式的数据重划分；将各个数据库节点的分组聚合结果的数据重划分结果和其他数据表的数据重划分结果均汇总到一个目标数据库节点；在目标数据库节点上对分组聚合结果的数据重划分结果和其他数据表的数据重划分结果进行目标数据的连接聚合。本发明能够实现数据的聚合查询，同时调高查询的并行性，提升集群的资源利用率，并降低网络开销，提高查询的性能。

公开(公告)号：CN105224600A

公开(公告)日：2016-01-06

申请号：CN201510548448.1

申请日：2015-08-31

Applicant: 北京奇虎科技有限公司 ,  奇智软件(北京)有限公司

Inventor： 陈卓 ,  杨康 ,  李亚东 ,  胡剑飞 ,  唐海 ,  邢超

IPC: G06F17/30

CPC classification number: G06F16/35 ,  G06F16/244

Abstract: 本发明提供一种样本相似度的检测方法及装置，该检测方法包括：提取样本中的字符串集合；将字符串集合输入至布隆过滤器中，生成字符串集合的二进制位串，作为样本的样本特征；计算样本特征与基准样本特征之间的相似度；根据相似度对样本进行分类。通过本发明，利用布隆过滤器的优异的空间效率，将通过布隆过滤器生成的二进制位串作为样本的样本特征，并根据该样本特征来计算样本的相似度，能够节省样本特征的存储空间，并可提高样本的特征计算和相似度计算过程中的效率。

公开(公告)号：CN107451243A

公开(公告)日：2017-12-08

申请号：CN201710624034.1

申请日：2017-07-27

Applicant: 迪尚集团有限公司

Inventor： 朱新滨

IPC: G06F17/30

CPC classification number: Y02D10/45 ,  G06F16/244 ,  G06F16/2282

Abstract: 本发明涉及海量数据查询管理技术领域，具体的说是一种特别适用于面料数据管理，能够有效提高面料管理效率的基于属性的复杂查询方法，其特征在首先建立数据存储数据库，其中每个属性对应一个整数类型的字段；将属性值保存为2的n次幂，查询时利用按位与操作，具体内容为：查询时，将要查找的属性值求和，利用SQL的&运算，获得检索值，通过检索值在存储数据库中进行查询，获得具有待查找属性的面料，本发明可以大幅度提高查询效率并降低脚本复杂度，提高面料数据管理效率，进而提高设计生产效率。

公开(公告)号：CN106941517A

公开(公告)日：2017-07-11

申请号：CN201710072557.X

申请日：2017-02-10

Applicant: 北京浩瀚深度信息技术股份有限公司

Inventor： 马昕 ,  马镝 ,  郝华

IPC: H04L29/08 ,  G06F17/30

CPC classification number: H04L67/1095 ,  G06F16/244

Abstract: 本发明公开了一种非对称条件下的五元组话单合成方法及装置，解决了目前由于路由策略，会出现上下行报文通过不同链路传输的情况，当两条链路在出口的不同的机房时，到达DPI设备的报文就会出现只有上行报文或只有下行报文的情况，对话单采集造成不良影响，部分业务信息不全、时延指标无法计算、部分业务无法精准识别的技术问题。本发明的非对称条件下的五元组话单合成方法包括：通过将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端，输出对称的话单的处理；以五元组作为Key对在大数据平台的全部话单进行合并处理。

公开(公告)号：CN106326483A

公开(公告)日：2017-01-11

申请号：CN201610798790.1

申请日：2016-08-31

Applicant: 华南理工大学

Inventor： 胡金龙 ,  梁俊杰

IPC: G06F17/30 ,  G06Q30/02

CPC classification number: G06F16/24575 ,  G06F16/244 ,  G06F16/35 ,  G06F16/9535 ,  G06Q30/0218

Abstract: 本发明公开了一种用户上下文信息聚合的协同推荐方法，包括根据用户行为日志和上下文信息构建用户-物品评分矩阵和用户-特征矩阵；利用相似性计算方法计算用户的评分相似性和特征相似性；根据评分相似性和特征相似性，计算用户之间的聚合相似性，通过个性化相似性聚合计算方法得到近邻用户；根据近邻用户对物品的评分和聚合相似性，预测用户对所有未评分物品的评分，选取预测评分最高的N个物品为用户的推荐候选物品集，从候选物品集选择物品进行推荐。本发明可以有效地提升个性化协同推荐的准确性。

公开(公告)号：CN106326461A

公开(公告)日：2017-01-11

申请号：CN201610764635.8

申请日：2016-08-30

Applicant: 杭州东方通信软件技术有限公司

Inventor： 娄瑶佳 ,  蔡蓉 ,  杨燕翊 ,  虞驰 ,  卞臻 ,  毛广 ,  段建平

IPC: G06F17/30 ,  H04L29/08

CPC classification number: G06F16/24556 ,  G06F16/244 ,  G06F16/24552 ,  H04L67/2842

Abstract: 本发明公开了一种基于网络信令记录的实时处理保障方法及系统，本方案通过对海量网络信令数据进行过滤、小区维度分组、分多种统计维度、多种时间粒度计算用户数指标和各种业务量指标、按小区维度合并、按键key分组、按键key合并、分布式缓存的实时处理后，实现了对多种维度下的用户数指标和各种业务量指标的实时统计分析，从而快速有效的发掘网络信令数据中的价值，快速的发现问题、定位问题。解决了现阶段采用传统方式无法对海量信令数据实时有效的分析的问题。

公开(公告)号：CN108073705A

公开(公告)日：2018-05-25

申请号：CN201711365638.5

申请日：2017-12-18

Applicant: 郑州云海信息技术有限公司

Inventor： 苑晓龙

IPC: G06F17/30

CPC classification number: G06F16/244

Abstract: 本发明提供一种分布式海量数据聚合采集方法，采用SolrCloud分布式全文检索系统作为Flume Sink子组件的目标存储，由于SolrCloud集群的节点和Collection等配置信息使用的Zookeeper集群保存的特性，通过利用对相应znode节点注册Watcher的方法实现了近实时读取Collection的Schema信息，减少了一些冗余的配置项，实现了不需要重启Flume Agent即可获取最新的Schema配置信息；减少了发送到SolrCloud集群的数据量，提升了数据写入的效率。