网页抓取方法及爬虫
    41.
    发明公开

    公开(公告)号:CN103294732A

    公开(公告)日:2013-09-11

    申请号:CN201210056060.6

    申请日:2012-03-05

    Abstract: 本发明公开了一种网页抓取方法及爬虫。所述方法包括如下步骤:将种子URL注入到Web数据库中;基于Web数据库生成URL列表;按队列的顺序将URL列表中的URL馈送给网页抓取器;由网页抓取器、按照网页对应的访问模式、根据被馈送的URL来对网页进行抓取;以及基于所抓取的网页,更新Web数据库中URL的状态以及注入新发现的URL;其中,所述访问模式包括请求参数槽、响应参数槽、以及请求参数槽与响应参数槽的对应关系,请求参数槽中包括请求参数、以及请求参数槽与响应参数槽的匹配关系,响应参数槽中包括响应参数、以及关于响应参数在http响应消息中的提取位置的提取位置信息。

    混搭服务器和提供混搭服务的方法

    公开(公告)号:CN102789471A

    公开(公告)日:2012-11-21

    申请号:CN201110132770.8

    申请日:2011-05-17

    Abstract: 一种混搭服务器和提供混搭服务的方法。该混搭服务器包括:转发模块,其被配置为进行用户浏览器与应用服务器之间的转发处理;抽取模块,其被配置为当转发模块接收到来自应用服务器的网页时,使用一个或更多个预定模板从网页中抽取数据;以及插入模块,其被配置为根据抽取模块抽取出的数据以及与抽取该数据所使用的模板相对应的微格式来生成微格式数据,并将该微格式数据插入到要由转发模块发送给用户浏览器的网页。

    集成web应用的方法、混搭服务器及系统

    公开(公告)号:CN102780730A

    公开(公告)日:2012-11-14

    申请号:CN201110128123.X

    申请日:2011-05-13

    Abstract: 本发明实施例公开了集成web应用的方法、混搭服务器及系统,所述方法包括:从客户端的浏览器获取当前场景信息,所述当前场景信息至少包括所述浏览器的用户正在访问的统一资源定位符及网页内容;依据所述当前场景信息依次判断混搭数据库保存的所有条件和动作对与当前场景信息是否匹配;根据判断结果生成动作列表,所述动作列表包括与所述当前场景信息匹配的条件和动作对中的动作;将所述动作列表中的动作在所述浏览器上进行展示;响应于所述用户通过所述浏览器选择一个或多个动作,在所述浏览器上集成所选择的动作对应的web应用。通过本发明实施例,能够根据用户当前访问的场景信息进行web应用的集成。

    神经网络的训练装置和推理装置以及计算机可读存储介质

    公开(公告)号:CN119539003A

    公开(公告)日:2025-02-28

    申请号:CN202311113896.X

    申请日:2023-08-30

    Abstract: 公开了神经网络训练装置、推理装置和介质。神经网络包括文本编码器、时间编码器、第一至第四Unet编码器、Unet解码器、第一至第三加法器。训练装置包括:获得单元,其通过对原始图像添加不同的噪声来获得噪声图像;输入单元,其将噪声图像输入第一Unet编码器,将对应于原始图像的线稿图像和噪声图像在分别通过第一和第二加法器相加后分别输入第二和第三Unet编码器,和将噪声图像和对应于原始图像的部分掩盖的图像在通过第三加法器相加后输入第四Unet编码器;和训练单元,其调整第三和第四Unet编码器的参数、并且保持文本编码器、时间编码器、第一和第二Unet编码器各自的参数不变,使得神经网络收敛,其中,Unet解码器的参数在训练期间可以被调整或者保持不变。

    用于训练神经网络的方法和装置以及神经网络

    公开(公告)号:CN119294441A

    公开(公告)日:2025-01-10

    申请号:CN202310841075.1

    申请日:2023-07-10

    Abstract: 公开了训练神经网络的方法和装置以及神经网络。神经网络包括文本编码器、时间编码器、第一至第三Unet编码器、Unet解码器、第一和第二加法器。方法包括:通过对原始图像添加噪声来获得输入图像;将输入图像输入第一Unet编码器,并且将对应于原始图像的线稿图像和输入图像在通过第一加法器相加后输入第二Unet编码器;将输入图像和线稿图像在通过第二加法器相加后输入第三Unet编码器;和,通过如下方式来训练神经网络:调整第三Unet编码器的参数、并且保持Unet解码器、文本编码器、时间编码器、第一和第二Unet编码器各自的参数不变,或者调整Unet解码器和第三Unet编码器各自的参数、并且保持文本编码器、时间编码器、第一和第二Unet编码器各自的参数不变。

    图像处理装置、图像处理方法和机器可读存储介质

    公开(公告)号:CN116664902A

    公开(公告)日:2023-08-29

    申请号:CN202210147076.1

    申请日:2022-02-17

    Abstract: 本公开涉及一种图像处理装置、图像处理方法和机器可读存储介质。图像处理装置包括:采样单元,对具有已知标签的基类图像数据集进行采样,得到伪基类支持集、伪新类支持集、伪基类查询集和伪新类查询集;第一训练单元,使用伪基类支持集和伪新类支持集通过预定约束来训练神经网络中的类代码生成模块,预定约束用于拉近相同类的类代码并且拉远不同类的类代码;以及第二训练单元,将伪基类查询集和伪新类查询集输入神经网络的特征提取模块,以训练神经网络的经训练的类代码生成模块和预测模块。该图像处理装置可以减少新增类的误分类并且提升目标检测性能。

    在编程环境中推荐代码的方法和装置

    公开(公告)号:CN110502226B

    公开(公告)日:2023-06-09

    申请号:CN201810468804.2

    申请日:2018-05-16

    Inventor: 杨铭 钟朝亮 孙俊

    Abstract: 本发明涉及一种在编程环境中推荐代码码片的方法,用于基于已输入的若干码片构成的码片序列和当前输入的码片预测后续码片,包括:分别计算当前输入的码片与码片序列中的每个码片之间的相关度,基于当前输入的码片的码片类型与码片序列中的每个码片的码片类型是否相同相应地对每个相关度进行调整,其中,当类型相同时,减小相关度;基于经调整的每个相关度生成对后续码片进行预测的预测结果的第一影响因子,然后基于第一影响因子生成预测结果,最后基于预测结果确定后续码片。

    图像分类方法,参数训练方法和图像分类装置

    公开(公告)号:CN115049869A

    公开(公告)日:2022-09-13

    申请号:CN202110256627.3

    申请日:2021-03-09

    Abstract: 本发明实施例提供一种图像分类方法和装置,参数训练方法,该图像分类方法包括:将输入图像数据输入分类器中,提取输入图像数据的特征向量,根据该特征向量对该输入图像数据进行分类,得到各输入图像数据对应的预测标签,并确定第一损失函数;该标签表示该输入图像数据所属的类别;该输入图像数据包括源域图像数据和目标域图像数据;判别器根据该特征向量的梯度判别该梯度对应的预测域标签是源域或目标域,并确定第二损失函数;根据该第一损失函数和该第二损失函数,训练并更新该分类器和该判别器的参数,直至该第一损失函数和该第二损失函数最优化;参数更新后的所述分类器对需要分类的输入图像数据进行分类,以得到所述需要分类的输入图像数据的分类结果。

    数据处理装置和数据处理方法

    公开(公告)号:CN108664384B

    公开(公告)日:2021-05-07

    申请号:CN201710197473.9

    申请日:2017-03-29

    Abstract: 本发明涉及数据处理装置和数据处理方法。根据本发明的数据处理装置包括:驱动生成单元,用于生成API的测试驱动,测试驱动表示对API进行函数调用;路径生成单元,用于基于符号执行生成API的测试路径和测试路径的约束条件;以及测试用例生成单元,用于基于API的测试驱动、测试路径和测试路径的约束条件生成API的测试用例,其中,路径生成单元生成的测试路径包括API的多行代码,并且路径生成单元用于:当寻找到包括回调函数的代码时,将包括回调函数的代码及其之前的路径所包括的代码作为API的测试路径。使用根据本发明的数据处理装置和数据处理方法,可以针对混合app的API自动生成测试用例。

    鲁棒性估计方法、数据处理方法和信息处理设备

    公开(公告)号:CN112464966A

    公开(公告)日:2021-03-09

    申请号:CN201910842524.8

    申请日:2019-09-06

    Abstract: 本公开提供了鲁棒性估计方法、数据处理方法和信息处理设备。鲁棒性估计方法用于估计基于训练数据集通过训练预先获得的分类模型的鲁棒性,并且包括:针对训练数据集中的每个训练样本,确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本,并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度;以及基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度,确定分类模型对目标数据集的分类鲁棒性。

Patent Agency Ranking