增量数据获取方法、发送方法、装置及其计算机存储介质

    公开(公告)号:CN111930768A

    公开(公告)日:2020-11-13

    申请号:CN202010948909.5

    申请日:2020-09-10

    发明人: 郑杰 孔庆峰 易杰

    IPC分类号: G06F16/23 G06F16/27 G06F16/22

    摘要: 本申请公开了增量数据获取方法、发送方法、装置及其计算机存储介质,通过数据库更新记录表获取数据库中更新数据的位置信息,从而确定数据库中的第一更新数据及其所在的第一数据表,从所述第一数据表开始遍历所述有向无环图中的目标数据表,获取各个所述目标数据表中与所述第一更新数据关联的第一数据,根据所述第一更新数据和所述第一数据得到第一增量数据,由于数据库每次修改数据的变更信息会记录至数据库更新记录表,而有向无环图中的目标数据表与当前的业务相关,因此通过定位更新数据在数据库中的第一数据表并遍历有向无环图中的目标数据表,能够快速获取该次数据更新对应的与当前业务相关的第一增量数据,提高业务数据的一致性。

    增量数据获取方法、发送方法、装置及其计算机存储介质

    公开(公告)号:CN111930768B

    公开(公告)日:2021-01-01

    申请号:CN202010948909.5

    申请日:2020-09-10

    发明人: 郑杰 孔庆峰 易杰

    IPC分类号: G06F16/23 G06F16/27 G06F16/22

    摘要: 本申请公开了增量数据获取方法、发送方法、装置及其计算机存储介质,通过数据库更新记录表获取数据库中更新数据的位置信息,从而确定数据库中的第一更新数据及其所在的第一数据表,从所述第一数据表开始遍历所述有向无环图中的目标数据表,获取各个所述目标数据表中与所述第一更新数据关联的第一数据,根据所述第一更新数据和所述第一数据得到第一增量数据,由于数据库每次修改数据的变更信息会记录至数据库更新记录表,而有向无环图中的目标数据表与当前的业务相关,因此通过定位更新数据在数据库中的第一数据表并遍历有向无环图中的目标数据表,能够快速获取该次数据更新对应的与当前业务相关的第一增量数据,提高业务数据的一致性。

    一种网页内容抓取方法和装置

    公开(公告)号:CN105589857A

    公开(公告)日:2016-05-18

    申请号:CN201410562845.X

    申请日:2014-10-21

    发明人: 郑杰 刘永升

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种网页内容抓取方法和装置,属于互联网技术领域。所该方法包括:周期性的通过第一线程从第一调度库中找出调度时间到达的网页标识,将所述找出的网页标识从所述第一调度库移至第二调度库中,所述第一调度库用于存储所有待抓取网页内容的网页标识;在抓取完网页内容时,通过第二线程从所述第二调度库中选择调度优先级别最高的预设数值个网页标识;根据所述选择的网页标识,抓取网页内容。该装置包括:第一移动模块,选择模块和抓取模块。本发明第一线程和第二线程同时进行,且第二调度库中存储的网页标识的数目较少,从第二调度库中选择网页标识比较省时,从而提高了抓取网页内容的效率。