-
公开(公告)号:CN111930768A
公开(公告)日:2020-11-13
申请号:CN202010948909.5
申请日:2020-09-10
申请人: 腾讯科技(深圳)有限公司
摘要: 本申请公开了增量数据获取方法、发送方法、装置及其计算机存储介质,通过数据库更新记录表获取数据库中更新数据的位置信息,从而确定数据库中的第一更新数据及其所在的第一数据表,从所述第一数据表开始遍历所述有向无环图中的目标数据表,获取各个所述目标数据表中与所述第一更新数据关联的第一数据,根据所述第一更新数据和所述第一数据得到第一增量数据,由于数据库每次修改数据的变更信息会记录至数据库更新记录表,而有向无环图中的目标数据表与当前的业务相关,因此通过定位更新数据在数据库中的第一数据表并遍历有向无环图中的目标数据表,能够快速获取该次数据更新对应的与当前业务相关的第一增量数据,提高业务数据的一致性。
-
公开(公告)号:CN106713323A
公开(公告)日:2017-05-24
申请号:CN201611233935.X
申请日:2016-12-28
申请人: 腾讯科技(深圳)有限公司
摘要: 本发明提出了一种页面内容预览方法、处理方法、客户端、服务器和系统,该页面内容处理方法包括:接收展示终端对页面内容的展示请求;当所述页面包含指定区域时,根据所述展示终端提供的用户标识信息取得对应所述指定区域的页面内容的预览展示数据;向所述展示终端发送所述展示数据。通过本申请的方案,实现了真实场景下对页面内容的快速在线预览,解决了目前针对页面内容提供方提供的页面内容无法进行实景在线预览的问题,摆脱了对特定的信息下发通道的依赖,且改变了预览与实景上线不一致的问题,改善了拓展性,并提高了数据处理效率。
-
公开(公告)号:CN111930768B
公开(公告)日:2021-01-01
申请号:CN202010948909.5
申请日:2020-09-10
申请人: 腾讯科技(深圳)有限公司
摘要: 本申请公开了增量数据获取方法、发送方法、装置及其计算机存储介质,通过数据库更新记录表获取数据库中更新数据的位置信息,从而确定数据库中的第一更新数据及其所在的第一数据表,从所述第一数据表开始遍历所述有向无环图中的目标数据表,获取各个所述目标数据表中与所述第一更新数据关联的第一数据,根据所述第一更新数据和所述第一数据得到第一增量数据,由于数据库每次修改数据的变更信息会记录至数据库更新记录表,而有向无环图中的目标数据表与当前的业务相关,因此通过定位更新数据在数据库中的第一数据表并遍历有向无环图中的目标数据表,能够快速获取该次数据更新对应的与当前业务相关的第一增量数据,提高业务数据的一致性。
-
公开(公告)号:CN106713323B
公开(公告)日:2020-01-31
申请号:CN201611233935.X
申请日:2016-12-28
申请人: 腾讯科技(深圳)有限公司
IPC分类号: H04L29/06 , G06F16/955
摘要: 本发明提出了一种页面内容预览方法、处理方法、客户端、服务器和系统,该页面内容处理方法包括:接收展示终端对页面内容的展示请求;当所述页面包含指定区域时,根据所述展示终端提供的用户标识信息取得对应所述指定区域的页面内容的预览展示数据;向所述展示终端发送所述展示数据。通过本申请的方案,实现了真实场景下对页面内容的快速在线预览,解决了目前针对页面内容提供方提供的页面内容无法进行实景在线预览的问题,摆脱了对特定的信息下发通道的依赖,且改变了预览与实景上线不一致的问题,改善了拓展性,并提高了数据处理效率。
-
公开(公告)号:CN105589857A
公开(公告)日:2016-05-18
申请号:CN201410562845.X
申请日:2014-10-21
申请人: 腾讯科技(深圳)有限公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种网页内容抓取方法和装置,属于互联网技术领域。所该方法包括:周期性的通过第一线程从第一调度库中找出调度时间到达的网页标识,将所述找出的网页标识从所述第一调度库移至第二调度库中,所述第一调度库用于存储所有待抓取网页内容的网页标识;在抓取完网页内容时,通过第二线程从所述第二调度库中选择调度优先级别最高的预设数值个网页标识;根据所述选择的网页标识,抓取网页内容。该装置包括:第一移动模块,选择模块和抓取模块。本发明第一线程和第二线程同时进行,且第二调度库中存储的网页标识的数目较少,从第二调度库中选择网页标识比较省时,从而提高了抓取网页内容的效率。
-
-
-
-