数据获取方法及装置
    21.
    发明授权

    公开(公告)号:CN106959960B

    公开(公告)日:2020-07-03

    申请号:CN201610016651.9

    申请日:2016-01-11

    Abstract: 本发明实施例提供了一种数据获取方法及装置,所述方法的一具体实施方式包括:接收数据获取请求,所述数据获取请求包括至少一个关键词;确定各关键词的维度属性,并根据各维度属性与各标识信息的对应关系及各关键词与各标识信息的对应关系,确定所述数据获取请求中包括的各关键词对应的标识信息及各关键词的维度属性对应的标识信息;根据预设合并规则,将所述各关键词对应的标识信息及各关键词的维度属性对应的标识信息合并,得到所述数据获取请求对应的至少一个目标键值;基于所述目标键值,从预先保存的包含有各键值与各数据对应关系的立方表中,获取与所述数据获取请求匹配的数据。本实施例能够提高数据获取效率。

    一种多维数据处理方法、装置及设备、存储介质

    公开(公告)号:CN111090705A

    公开(公告)日:2020-05-01

    申请号:CN201811236196.9

    申请日:2018-10-23

    Abstract: 本发明提供一种多维数据处理方法、装置及设备、存储介质,该方法包括:确定读取的多维数据所属的数据层级,并依据所述数据层级对所述多维数据进行聚合得到属于对应数据层级的cube数据;将所述cube数据存入本地的目标层级缓存区中,所述目标层级缓存区是本地的与cube数据所属的数据层级对应的层级缓存区;判断所述目标层级缓存区中所述缓存的数据量是否达到指定阈值,若是,则将所述目标层级缓存区中缓存的数据转存至目标数据库的与所述数据层级对应的层级数据库表中。避免因多维数据的无差别聚合及存储而导致的查询cube数据时数据量大的问题,有利于提升查询效率。

    数据存储方法、装置及存储介质

    公开(公告)号:CN111061758A

    公开(公告)日:2020-04-24

    申请号:CN201811204394.7

    申请日:2018-10-16

    Abstract: 本发明公开了一种数据存储方法、装置及存储介质,属于数据处理技术领域。所述方法包括:从数据源获取多条数据,每条数据携带时间戳;根据该每条数据的时间戳,对该多条数据进行分类处理,得到多组数据;对该多组数据中的每组数据进行聚合统计,得到多个聚合数据;通过多个数据处理单元对该多个聚合数据进行分类存储,其中,该多个数据处理单元中的每个数据处理单元由内存和磁盘组成,每个数据处理单元中存储的聚合数据的类型相同。如此,在后续数据查询时,可以基于需要查询的数据的时间戳,从对应的数据处理单元中进行查询,提高了数据查询效率。

    一种SQL语句执行方法及装置

    公开(公告)号:CN107818100B

    公开(公告)日:2019-12-20

    申请号:CN201610818671.8

    申请日:2016-09-12

    Abstract: 本发明实施例提供了一种SQL语句执行方法及装置,所述方法包括:接收待执行的目标SQL语句;针对各编译过程,在本地保存的该编译过程输入与输出的对应关系中,查找是否存在与所述目标SQL语句在该编译过程的输入匹配的目标输入;如果存在,将所述目标输入对应的目标输出作为所述目标SQL语句在该编译过程的输出;如果不存在,根据所述目标SQL语句在该编译过程的输入,对所述目标SQL语句进行相应的编译,得到所述目标SQL语句在该编译过程的输出,将该输出作为所述目标SQL语句在下一编译过程的输入;当得到所述目标SQL语句在物理优化阶段输出的物理执行树时,将所述物理执行树输入执行引擎执行。本发明实施例能够提高SQL语句的执行速度。

    一种关系数据缓存及查询方法及装置

    公开(公告)号:CN106682042B

    公开(公告)日:2019-11-22

    申请号:CN201510766583.3

    申请日:2015-11-11

    Abstract: 本发明实施例公开了一种关系数据缓存及查询方法及装置,该缓存方法包括:接收到待缓存的关系数据后,根据每个关联子数据与列簇中每列的对应关系,将每个关联子数据缓存到对应的列中,并根据每列是否缓存了该关系数据,更新位图索引中对应行的位图标识。由于在本发明实施例中基于位图索引和每列的对应关系表,进行关系数据缓存,并且关系数据被划分为多个关联子数据,分别进行缓存,因此提高了关系数据的缓存效率,并且该方法应用于电子设备的内存,提高了内存的利用率。

    数据处理方法及系统
    26.
    发明公开

    公开(公告)号:CN109033109A

    公开(公告)日:2018-12-18

    申请号:CN201710434019.0

    申请日:2017-06-09

    Abstract: 本申请公开了一种数据处理方法及系统,属于大数据领域,以动态生成有向无环图。所述方法包括:接收第一SQL操作指令;根据所述第一SQL操作指令生成第一有向无环图,所述第一有向无环图用于定义所述流式处理应用的逻辑处理计划,所述第一有向无环图包括输入节点、中间节点、输出节点和用于连接节点的有向边,所述输入节点对应所述事件源,每个所述中间节点对应一个数据集,所述输出节点用于输出结果数据,每个所述有向边对应一个运算逻辑;接收与所述第一有向无环图中指定节点对应的第二SQL操作指令;根据所述第二SQL操作指令对所述第一有向无环图进行修改。本申请用于大数据分析处理。

    一种数据存储、更新和查询方法及装置

    公开(公告)号:CN108614818A

    公开(公告)日:2018-10-02

    申请号:CN201611127382.X

    申请日:2016-12-09

    Abstract: 本发明实施例提供了一种数据存储、更新和查询方法及装置,该数据存储方法中,构建多个数据子立方体,并将所构建的多个数据子立方体作为当前层的数据子立方体;判断当前层的数据子立方体是否满足预设合并条件;如果满足,根据第一预设合并规则,将当前层的数据子立方体合并为上一层数据子立方体;判断上一层数据子立方体是否满足预设合并条件;如果满足,将上一层数据子立方体作为当前层的数据子立方体,再执行根据第一预设合并规则,将当前层的数据子立方体合并为上一层数据子立方体的步骤;如果不满足,保存所构建的多层数据子立方体。通过更新历史数据对应的数据子立方体实现对已存储的历史数据进行更新。

    一种数据查询方法、装置、分布式数据查询系统

    公开(公告)号:CN113626491B

    公开(公告)日:2023-08-04

    申请号:CN202010388675.3

    申请日:2020-05-09

    Abstract: 本发明实施例提供了一种数据查询方法、装置、分布式数据查询系统。方法包括:按照第一谓词判断顺序,依次对每个原始数据进行查询,以确定该原始数据是否为同时命中多个谓词的目标数据,直至已经查询的原始数据的数量满足预设顺序更替条件或完成所有原始数据的查询;当已经查询的原始数据的数量满足预设顺序更替条件时,针对所述多个谓词中的每个谓词,根据已经查询的原始数据的数据特征,计算该谓词的当前得分;依据每个谓词的所述当前得分所表示的效率由高到低的顺序,生成第二谓词判断顺序;将所述第二谓词判断顺序作为新的第一谓词判断顺序,返回执行所述按照第一谓词判断顺序,依次对每个原始数据进行查询的步骤。可以提高数据查询效率。

    图数据挖掘方法、装置、电子设备及机器可读存储介质

    公开(公告)号:CN113867983A

    公开(公告)日:2021-12-31

    申请号:CN202111075298.9

    申请日:2021-09-14

    Abstract: 本申请提供一种图数据挖掘方法、装置、电子设备及机器可读存储介质,该方法包括:对原始数据进行预处理,得到图结构数据;依据分布式图神经网络的训练策略,对所述图结构数据进行切分,得到多个子图数据,并将所述子图数据存储分布式内存管理系统;构建分布式图神经网络训练函数,利用所述分布式图神经网络训练函数,依据所述分布式内存管理系统中存储的子图数据,进行分布式图神经网络模型训练,并将得到的Embedding存储到所述分布式内存管理系统;依据所述分布式内存管理系统中保存的所述Embedding进行ML模型的训练和预测。该方法可以提升图数据挖掘的执行效率。

    一种图像搜索方法、装置、电子设备及存储介质

    公开(公告)号:CN113297409A

    公开(公告)日:2021-08-24

    申请号:CN202110738206.4

    申请日:2021-06-30

    Abstract: 本申请实施例提供了一种图像搜索方法、装置、电子设备及存储介质,涉及图像处理技术领域,所述方法应用于电子设备,所述电子设备配置有持久性内存,所述持久性内存用于存储第一候选图像的图像特征,所述方法包括:获得待搜索图像的目标图像特征;获得搜索范围,若所述第一候选图像中存在处于所述搜索范围的图像,直接访问所述持久性内存,获得所述持久性内存中各个第一候选图像的图像特征,计算所述目标图像特征与各个第一候选图像的图像特征之间的相似度;根据所计算的相似度,从所述第一候选图像中确定与所述待搜索图像相似的图像。应用本申请实施例提供的方案,可以提高图像搜索效率。

Patent Agency Ranking