一种数据挖掘系统中数据预处理的方法、系统及装置

    公开(公告)号:CN102054001A

    公开(公告)日:2011-05-11

    申请号:CN200910236744.2

    申请日:2009-10-28

    Abstract: 本发明公开了一种数据挖掘系统中数据预处理的方法、系统及装置,其中,数据预处理对应具有设定执行次序的多个预处理方式,主要技术方案包括:确定数据预处理对应的当前预处理方式;在确定若根据当前预处理方式处理得到的处理结果无需合并并且当前预处理方式不为数据预处理的最后一个预处理方式时,在各操作节点根据当前预处理方式处理待处理数据后,控制各操作节点对得到的处理结果根据当前预处理方式的下一预处理方式进行处理。根据该技术方案,减少了不同节点之间由于待处理数据的读取以及处理结果的写入而需要的传输过程,提高了数据挖掘系统中数据预处理的效率,提高了整个数据挖掘系统的性能。

    一种数据服务封装的装置及方法

    公开(公告)号:CN103139234B

    公开(公告)日:2016-01-20

    申请号:CN201110375778.7

    申请日:2011-11-23

    Abstract: 本发明公开了一种数据服务封装的方法和装置,具体包括:A、对数据服务请求方发起的数据服务请求进行解析并获取到数据服务请求参数;B、根据所述数据服务请求参数形成数据服务信息查询指令;C、基于所述数据服务信息查询指令从所述数据服务所对应的数据源中获取到数据源数据;D、将所述数据源数据转换成关系型数据;将所述关系型数据封装到应答数据中;选择所述数据服务的会话模式;将所述应答数据封装到数据服务应答数据包的包体中;E、对所述数据服务应答数据包的包头进行控制信息的封装操作。本发明可以简化数据服务的实现,降低数据服务内部代码的耦合度。

    SQL脚本解析方法、装置及系统

    公开(公告)号:CN102375826B

    公开(公告)日:2014-12-31

    申请号:CN201010253875.4

    申请日:2010-08-13

    Abstract: 本发明公开了一种SQL脚本解析方法、装置及系统。其中SQL脚本解析方法,包括:A、按照运行日志中的SQL脚本执行顺序,从运行日志中提取SQL脚本;B、对每条SQL脚本依次进行词法、语法和语义进行分析,生成SQL脚本的语义结果集;C、根据所述语义结果集分析所述SQL脚本的上下文类型,生成所述运行日志中各个SQL脚本之间的上下文相关信息,根据所述语义结果集和所述上下文相关信息获得所述运行日志的数据流信息。本发明的SQL脚本解析方法、装置及系统,通过对SQL脚本进行词法、语法、语义以及上下文相关性分析,避免在生成SQL脚本的元数据时,数据流语义信息的丢失,从而提高获取SQL脚本的元数据的完整性和准确性,保证SQL脚本元数据的获取质量。

    一种实现不同数据源之间数据处理的方法及装置

    公开(公告)号:CN103916368A

    公开(公告)日:2014-07-09

    申请号:CN201210593327.5

    申请日:2012-12-31

    Abstract: 本发明提供一种实现不同数据源之间数据处理的方法及装置。所述方法包括:解析用户发出的数据处理命令,其中所述数据处理命令中所涉及的数据包括第一数据源和第二数据源中的数据;根据所述数据处理命令进行任务分解,分解后的所述数据处理命令包括对所述第一数据源中的数据操作的第一命令、对所述第二数据源中的数据操作的第二命令以及对所述第一数据源中的数据和所述第二数据源中的数据组合操作的第三命令;向所述第一数据源下发执行所述第一命令,向所述第二数据源下发执行所述第二命令,并根据所述第一命令和所述第二命令的执行结果,执行所述第三命令。本发明所述方法和装置能够实现不同数据源之间的透明访问,提高数据处理的效率。

    一种数据挖掘系统中数据预处理的方法、系统及装置

    公开(公告)号:CN102054001B

    公开(公告)日:2012-10-03

    申请号:CN200910236744.2

    申请日:2009-10-28

    Abstract: 本发明公开了一种数据挖掘系统中数据预处理的方法、系统及装置,其中,数据预处理对应具有设定执行次序的多个预处理方式,主要技术方案包括:确定数据预处理对应的当前预处理方式;在确定若根据当前预处理方式处理得到的处理结果无需合并并且当前预处理方式不为数据预处理的最后一个预处理方式时,在各操作节点根据当前预处理方式处理待处理数据后,控制各操作节点对得到的处理结果根据当前预处理方式的下一预处理方式进行处理。根据该技术方案,减少了不同节点之间由于待处理数据的读取以及处理结果的写入而需要的传输过程,提高了数据挖掘系统中数据预处理的效率,提高了整个数据挖掘系统的性能。

    SQL脚本解析方法、装置及系统

    公开(公告)号:CN102375826A

    公开(公告)日:2012-03-14

    申请号:CN201010253875.4

    申请日:2010-08-13

    Abstract: 本发明公开了一种SQL脚本解析方法、装置及系统。其中SQL脚本解析方法,包括:A、按照运行日志中的SQL脚本执行顺序,从运行日志中提取SQL脚本;B、对每条SQL脚本依次进行词法、语法和语义进行分析,生成SQL脚本的语义结果集;C、根据所述语义结果集分析所述SQL脚本的上下文类型,生成所述运行日志中各个SQL脚本之间的上下文相关信息,根据所述语义结果集和所述上下文相关信息获得所述运行日志的数据流信息。本发明的SQL脚本解析方法、装置及系统,通过对SQL脚本进行词法、语法、语义以及上下文相关性分析,避免在生成SQL脚本的元数据时,数据流语义信息的丢失,从而提高获取SQL脚本的元数据的完整性和准确性,保证SQL脚本元数据的获取质量。

    一种数据处理方法、设备和系统

    公开(公告)号:CN103902614B

    公开(公告)日:2018-05-04

    申请号:CN201210584674.1

    申请日:2012-12-28

    Abstract: 本发明实施例公开了一种数据处理方法、设备和系统,该方法包括:分片服务器接收主服务器转发的数据查询请求,其中携带有用于指示请求读取的数据所在行的key字段和用于指示请求读取的数据所在列的列表字段;所述分片服务器根据所述key字段和列表字段在自身存储的数据中查询对应的列数据,并将查询到的列数据以数组的形式返回给所述主服务器。在本发明中,降低了分布式列存储数据库系统中数据处理的性能消耗,提高了数据处理效率。

Patent Agency Ranking