-
公开(公告)号:CN117076900B
公开(公告)日:2024-08-09
申请号:CN202311250238.5
申请日:2023-09-26
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F18/211 , G06F18/15 , G06F18/24 , G06N3/082
Abstract: 本申请提供了一种数据处理方法、装置、设备及存储介质,该方法可以应用于人工智能、资源推荐、数据搜索等技术领域,包括:在模型损失函数中添加第一正则损失,该第一正则损失用于使特征的权重两极分化为第一数值或第二数值,这样基于模型损失函数和第一训练样本对第一深度模型进行训练,使得M个特征的目标权重两级分化为第一数值和第二数值。在后续数据处理时,可以基于M个特征的目标权重,对目标数据的M个特征进行裁剪,进而通过目标深度模型对目标数据的N个特征进行处理,可以实现对特征的准确裁剪,保证数据的处理效果,且有效降低了目标深度模型待处理的特征数量,节省了设备资源。
-
公开(公告)号:CN111190753B
公开(公告)日:2023-03-21
申请号:CN201911397562.3
申请日:2019-12-30
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F9/54
Abstract: 本申请涉及一种分布式任务处理方法、装置、计算机可读存储介质和计算机设备,所述方法包括:获取分布式任务,分布式任务包括多个首次执行的子任务,当检测到当前子任务为首次执行的子任务,且当前子任务对应的任务进程的运行时长大于预设的运行时长时,将当前子任务标记为运行超时任务,并中断当前子任务的任务进程;统计运行超时任务的总数量,当运行超时任务的总数量小于预设阈值时,将中断任务进程的当前子任务的任务状态标记为已完成状态;获取分布式任务的各个子任务对应的任务状态,当各个子任务的任务状态为已完成状态时,将分布式任务的状态标记为运行结束状态。
-
公开(公告)号:CN102236674A
公开(公告)日:2011-11-09
申请号:CN201010165297.9
申请日:2010-04-29
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种索引页更新方法,包括:根据预设的周期,从索引页数据库读取索引页的相关信息,所述索引页的相关信息包括:索引页的url,索引页在各个预设时间段内的页面变化概率,索引页的页面指纹和索引页的上次更新时间中的任一种或多种;根据所述相关信息,判断所述索引页当前是否需要更新;当所述判断结果为是时,根据所述相关信息更新所述索引页。相应地,本发明还公开了一种索引页更新装置。本发明基于概率、分时间段的更新索引页,能够精确预测索引页变化时间点,减少更新时延,提高时效性,提高用户体验。
-
公开(公告)号:CN116955495A
公开(公告)日:2023-10-27
申请号:CN202310043900.3
申请日:2023-01-29
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本申请公开了数据处理方法、装置、介质及设备,方法包括:获取数据导入任务的配置信息,配置信息包括数据读取信息和数据写入信息;根据数据写入信息,在中转集群创建与目标集群匹配的临时数据表;根据数据读取信息,从数据仓库获取当前导入批次的待导入数据;将待导入数据写入临时数据表中,得到目标数据表,目标数据表以目标数据片段为单位进行存储;目标数据片段的存储格式与目标集群匹配;将至少一个目标数据片段挂载至目标集群,以使目标集群基于至少一个目标数据片段进行处理。本申请将对数据仓库的数据读取与对目标集群的数据写入进行分离,能够高效准确地进行数据导入,降低了对目标集群性能的占用。
-
公开(公告)号:CN112346962B
公开(公告)日:2023-10-20
申请号:CN201910732500.7
申请日:2019-08-09
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F11/36
Abstract: 本申请公开了一种应用于对照测试系统中的对照数据测试方法及装置,通过对于对照测试中各模块的交互实现了多种检验模型的配置,以及选取对应的测试数据输入相关模型以得到测试结果,该多模型的配置过程可以很好应用于多种场景中,以满足不同场景下的检验需求,提高了检验过程的扩展性及灵活性。具体包括:获取第一检验模型的配置信息,若存在第二检验模型等待运行,则根据所述第一检验模型的配置信息与所述第二检验模型的配置信息生成对比信息,通过所述目标接口接入所述对比信息,以使得所述对照测试系统中的指标计算模块生成对应的计算线程;根据所述计算线程对所述第二检验模型进行计算。
-
公开(公告)号:CN111190753A
公开(公告)日:2020-05-22
申请号:CN201911397562.3
申请日:2019-12-30
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F9/54
Abstract: 本申请涉及一种分布式任务处理方法、装置、计算机可读存储介质和计算机设备,所述方法包括:获取分布式任务,分布式任务包括多个首次执行的子任务,当检测到当前子任务为首次执行的子任务,且当前子任务对应的任务进程的运行时长大于预设的运行时长时,将当前子任务标记为运行超时任务,并中断当前子任务的任务进程;统计运行超时任务的总数量,当运行超时任务的总数量小于预设阈值时,将中断任务进程的当前子任务的任务状态标记为已完成状态;获取分布式任务的各个子任务对应的任务状态,当各个子任务的任务状态为已完成状态时,将分布式任务的状态标记为运行结束状态。
-
公开(公告)号:CN111078404A
公开(公告)日:2020-04-28
申请号:CN201911253662.9
申请日:2019-12-09
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F9/50
Abstract: 本发明公开了一种计算资源确定方法、装置、电子设备及介质。方法包括:基于对应同一目标资源使用量的至少一个任务构建当前批次任务集;获取当前批次任务集中任务的预期资源使用量;基于当前批次任务集中任务的预期资源使用量为当前批次任务集中任务分配对应的节点;向对应的节点发送第一任务执行指令;获取对应的节点执行任务的实际资源使用量,以及根据当前批次任务集中任务的预期资源使用量和对应的节点执行任务的实际资源使用量得到任务的资源使用率;基于任务的资源使用率得到当前批次任务集的资源使用率;基于当前批次任务集的资源使用率与资源使用率阈值的比较结果确定下一批次任务集中任务的预期资源使用量。
-
公开(公告)号:CN101178713A
公开(公告)日:2008-05-14
申请号:CN200610160748.3
申请日:2006-11-29
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种采集网页的方法及系统,用以解决现有的采集网页的方法不能保证网页集合的高新鲜度的问题。本发明方法在系统中设定更新周期由短到长的至少两个队列;之后包括:系统根据各个队列的更新周期检测该队列中录入的各个网页链接地址URL是否超时;以及当检测到URL超时时,判断该URL中的网页内容是否被更新,若被更新,则将该URL录入比当前所在队列的更新周期次短的队列;否则将该URL录入比当前所在队列的更新周期次长的队列。本发明系统包括:队列设定单元、更新周期检测单元、更新判断单元和录入单元。本发明可保证网页集合的高新鲜度。
-
公开(公告)号:CN117732050A
公开(公告)日:2024-03-22
申请号:CN202211123431.8
申请日:2022-09-15
Applicant: 腾讯科技(深圳)有限公司
IPC: A63F13/52 , A63F13/537 , A63F13/55 , A63F13/822
Abstract: 本申请公开了一种虚拟对象的生成方法和装置、存储介质及电子设备。其中,该方法包括:显示一局游戏的游戏画面,其中,游戏画面包括一局游戏关联的虚拟地图中的目标游戏区域,目标游戏区域包括参与一局游戏的目标虚拟对象,在目标生成区域生成目标数量的第一虚拟对象,其中,目标数量以及目标生成区域由第一虚拟对象在目标游戏区域内部的不同分布区域上已分布的分布数量确定,第一虚拟对象与目标虚拟对象处于不同的对象分组,控制第一虚拟对象朝目标虚拟对象所处的位置移动。本申请解决了相关技术中存在的虚拟对象的生成效率较低的技术问题。
-
公开(公告)号:CN111427675B
公开(公告)日:2023-03-14
申请号:CN202010201287.X
申请日:2020-03-20
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本申请公开了一种数据处理方法、装置以及计算机可读存储介质,该方法涉及资源调度相关技术,该方法包括:作业管理进程向资源管理节点获取目标作业的计算资源,将目标作业的计算资源缓存在资源池中;根据目标作业的计算资源确定资源池中的总计算资源;总计算资源包括映射计算资源和归约计算资源;根据总计算资源中的资源未占用的映射计算资源,依次执行目标作业包含的映射类型子任务;根据总计算资源中的资源未占用的归约计算资源,依次执行目标作业包含的归约类型子任务;当检测到目标作业包含的映射类型子任务和归约类型子任务均执行完成时,将资源池中的总计算资源归还给资源管理节点。采用本申请,可提高针对目标作业的计算资源的调度效率。
-
-
-
-
-
-
-
-
-