公开(公告)号：CN103678098A

公开(公告)日：2014-03-26

申请号：CN201210328786.0

申请日：2012-09-06

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 沙安澜

IPC: G06F11/36

Abstract: 本发明提供了一种HADOOP程序测试的方法和系统，其中运行待测试的HADOOP程序过程中，如果运行到对远程HADOOP分布式文件系统（HDFS）的SHELL接口的调用，则将对远程HDFS的SHELL接口的调用命令转换为对本地文件系统（FS）的SHELL接口的调用命令，并将HDFS路径转换为本地FS路径；执行转换后得到的命令，获取执行结果。或者，如果运行到对远程分布式（MAP/REDUCE）计算接口的调用，则将输入和输出路径从HDFS路径转换为本地FS路径，利用本地作业运行器替代作业追踪器，进入执行路径后，执行MAP执行脚本和REDUCE执行脚本，获取执行结果。通过本发明能够缩短测试执行的时间。

公开(公告)号：CN103678098B

公开(公告)日：2017-12-19

申请号：CN201210328786.0

申请日：2012-09-06

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 沙安澜

IPC: G06F11/36

Abstract: 本发明提供了一种HADOOP程序测试的方法和系统，其中运行待测试的HADOOP程序过程中，如果运行到对远程HADOOP分布式文件系统（HDFS）的SHELL接口的调用，则将对远程HDFS的SHELL接口的调用命令转换为对本地文件系统（FS）的SHELL接口的调用命令，并将HDFS路径转换为本地FS路径；执行转换后得到的命令，获取执行结果。或者，如果运行到对远程分布式（MAP/REDUCE）计算接口的调用，则将输入和输出路径从HDFS路径转换为本地FS路径，利用本地作业运行器替代作业追踪器，进入执行路径后，执行MAP执行脚本和REDUCE执行脚本，获取执行结果。通过本发明能够缩短测试执行的时间。

公开(公告)号：CN104573040A

公开(公告)日：2015-04-29

申请号：CN201510025584.2

申请日：2015-01-19

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 沙安澜

IPC: G06F17/30

CPC classification number: G06F17/30905

Abstract: 本发明提供一种抓取网页数据的方法及系统，所述方法包括：生成数据模板；根据所述生成的数据模板以及第一请求数据拼接出第二请求数据；根据所述拼接出的第二请求数据执行网页数据的抓取。通过采用本发明可以在抓取网页数据的过程中提高对多样化需求的适应性。

公开(公告)号：CN103810095A

公开(公告)日：2014-05-21

申请号：CN201210459305.X

申请日：2012-11-15

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 沙安澜

IPC: G06F11/36

Abstract: 本发明提供了一种数据对比测试的方法及装置，其中数据对比测试的方法包括：A.将一条以上的样本数据分别发送至被测模块及基准模块，其中所述被测模块及所述基准模块对接收到的样本数据进行处理后，分别输出各自的处理日志；B.根据预先配置的转化规则，将所述被测模块及所述基准模块各自的处理日志转化为各自的特征矩阵；C.根据预先配置的差值规则，得到所述被测模块的特征矩阵与所述基准模块的特征矩阵之间的差值矩阵；D．对所述差值矩阵中的元素进行泛化，以及，将泛化后的差值矩阵中的相同行合并。通过上述方式，能够提高测试的精准度。

公开(公告)号：CN102739470A

公开(公告)日：2012-10-17

申请号：CN201210172064.0

申请日：2012-05-29

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 沙安澜

IPC: H04L12/26 ,  H04L29/08

Abstract: 本发明提供了一种实现HADOOP系统测试的方法和装置，其中方法包括：当被测试函数调用分布式文件系统应用程序接口(HDFS API)时，根据预设的对HDFS API的调用与对抽象出的HDFS对象(MOCK_FS_OBJ)的调用之间的映射关系，将所述被测试函数对HDFS API的调用转换为对MOCK_FS_OBJ的调用；判断预先设置的MOCK_FS_OBJ的内部状态是否正常，如果是，则将输入的HDFS路径转换为本地文件系统(FS)路径，执行对MOCK_FS_OBJ的调用所对应的本地FS API操作。通过本发明能够降低测试成本，缩短执行时间。

公开(公告)号：CN103810095B

公开(公告)日：2018-01-05

申请号：CN201210459305.X

申请日：2012-11-15

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 沙安澜

IPC: G06F11/36

Abstract: 本发明提供了一种数据对比测试的方法及装置，其中数据对比测试的方法包括：A.将一条以上的样本数据分别发送至被测模块及基准模块，其中所述被测模块及所述基准模块对接收到的样本数据进行处理后，分别输出各自的处理日志；B.根据预先配置的转化规则，将所述被测模块及所述基准模块各自的处理日志转化为各自的特征矩阵；C.根据预先配置的差值规则，得到所述被测模块的特征矩阵与所述基准模块的特征矩阵之间的差值矩阵；D．对所述差值矩阵中的元素进行泛化，以及，将泛化后的差值矩阵中的相同行合并。通过上述方式，能够提高测试的精准度。

公开(公告)号：CN104573040B

公开(公告)日：2018-04-13

申请号：CN201510025584.2

申请日：2015-01-19

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 沙安澜

IPC: G06F17/30

Abstract: 本发明提供一种抓取网页数据的方法及系统，所述方法包括：生成数据模板；根据所述生成的数据模板以及第一请求数据拼接出第二请求数据；根据所述拼接出的第二请求数据执行网页数据的抓取。通过采用本发明可以在抓取网页数据的过程中提高对多样化需求的适应性。

公开(公告)号：CN104462257B

公开(公告)日：2018-03-30

申请号：CN201410674840.6

申请日：2014-11-21

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 赵辉 ,  闫庆宏 ,  沙安澜

IPC: G06F17/30

Abstract: 本发明提供了一种校验中间页信息的方法和装置，其中方法包括：抓取中间页；利用预先配置的中间页模板从抓取的中间页中解析待校验数据项的内容；抓取所述中间页所指向的详情页；利用预先配置的详情页模板从抓取的详情页中解析待校验数据项的内容；将同一待校验数据项在中间页中的内容与在详情页中的内容进行比对；输出比对结果。本发明不再依赖人工校验，实现了中间页信息校验的自动化，节约了人力成本，且具有高效、准确的特点。

公开(公告)号：CN104462257A

公开(公告)日：2015-03-25

申请号：CN201410674840.6

申请日：2014-11-21

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 赵辉 ,  闫庆宏 ,  沙安澜

IPC: G06F17/30

CPC classification number: G06F17/30887 ,  G06F17/3089

Abstract: 本发明提供了一种校验中间页信息的方法和装置，其中方法包括：抓取中间页；利用预先配置的中间页模板从抓取的中间页中解析待校验数据项的内容；抓取所述中间页所指向的详情页；利用预先配置的详情页模板从抓取的详情页中解析待校验数据项的内容；将同一待校验数据项在中间页中的内容与在详情页中的内容进行比对；输出比对结果。本发明不再依赖人工校验，实现了中间页信息校验的自动化，节约了人力成本，且具有高效、准确的特点。