一种网页信息抽取方法及装置

    公开(公告)号:CN110110198B

    公开(公告)日:2021-06-15

    申请号:CN201711458949.6

    申请日:2017-12-28

    Abstract: 本发明实施例提供了一种网页信息抽取方法及装置,包括:根据网页的DOM树确定网页的候选元素以及文本信息;根据网页的展示页面截图确定网页的候选位置信息;根据各候选位置信息、各候选元素的文本信息确定各候选元素作为目标抽取元素的第一概率和各候选位置作为目标抽取位置的第二概率;根据第一概率和第二概率从各候选元素和各候选位置中确定目标抽取元素和目标抽取位置;根据确定为目标抽取元素的候选元素和确定为目标抽取位置的候选位置对网页进行信息抽取。通过提取网页的候选元素的文本信息以及候选位置信息,使用神经网络模型和空间概率分布模型对抽取位置进行定位,提高了网页信息抽取的定位精度和容错率,实现网页信息的自动化抽取。

    一种网页信息抽取方法及装置

    公开(公告)号:CN110110198A

    公开(公告)日:2019-08-09

    申请号:CN201711458949.6

    申请日:2017-12-28

    Abstract: 本发明实施例提供了一种网页信息抽取方法及装置,包括:根据网页的DOM树确定网页的候选元素以及文本信息;根据网页的展示页面截图确定网页的候选位置信息;根据各候选位置信息、各候选元素的文本信息确定各候选元素作为目标抽取元素的第一概率和各候选位置作为目标抽取位置的第二概率;根据第一概率和第二概率从各候选元素和各候选位置中确定目标抽取元素和目标抽取位置;根据确定为目标抽取元素的候选元素和确定为目标抽取位置的候选位置对网页进行信息抽取。通过提取网页的候选元素的文本信息以及候选位置信息,使用神经网络模型和空间概率分布模型对抽取位置进行定位,提高了网页信息抽取的定位精度和容错率,实现网页信息的自动化抽取。

    一种分词方法、装置、电子设备及存储介质

    公开(公告)号:CN110728141A

    公开(公告)日:2020-01-24

    申请号:CN201810779117.2

    申请日:2018-07-16

    Abstract: 本发明公开了一种分词方法、装置、电子设备及存储介质,该方法包括:将分词语料输入到预先保存的基线分词模型中,基于所述基线分词模型,确定所述分词语料的初步分词结果;将所述初步分词结果输入到预先训练完成的词切分模型中,基于所述词切分模型,输出所述初步分词结果的切分结果,其中所述切分结果包括切分单元,所述切分单元包括切分字符和/或切分字符集合;按照预设的合并规则,合并所述切分单元,并确定所述分词语料的最终分词结果。本发明中对现有的基线分词模型不进行改变,保证了分词模型的收敛速度,提高了分词效率,并且对基线分词模型的分词结果进行了更正,因此提高了分词结果的准确性。

    一种钓鱼网站检测方法、装置和存储介质

    公开(公告)号:CN111107048B

    公开(公告)日:2021-11-30

    申请号:CN201811270081.1

    申请日:2018-10-29

    Abstract: 本发明公开了一种钓鱼网站检测方法、装置和存储介质,用以提高钓鱼网站的检测效率和准确性。钓鱼网站检测方法,包括:从文本信息中提取待检测网站的第一网址;分别确定所述第一网址与预先配置的白名单数据库中所包含的第二网址的相似度系数;根据从文本信息中提取的第一关键词集合、相似度系数最大的第二网址对应的第二关键词集合以及相似度系数最大值,确定第一网址对应的安全风险系数;根据从待检测网站中提取的网页特征,利用网页分析模型确定所述第一网址对应的网页类型特征值;根据确定出的相似度系数中的最大值、安全风险系数和网页类型特征值,利用网页识别模型判断待检测网站是否为钓鱼网站。

    一种分词方法、装置、电子设备及存储介质

    公开(公告)号:CN110728141B

    公开(公告)日:2023-09-19

    申请号:CN201810779117.2

    申请日:2018-07-16

    Abstract: 本发明公开了一种分词方法、装置、电子设备及存储介质,该方法包括:将分词语料输入到预先保存的基线分词模型中,基于所述基线分词模型,确定所述分词语料的初步分词结果;将所述初步分词结果输入到预先训练完成的词切分模型中,基于所述词切分模型,输出所述初步分词结果的切分结果,其中所述切分结果包括切分单元,所述切分单元包括切分字符和/或切分字符集合;按照预设的合并规则,合并所述切分单元,并确定所述分词语料的最终分词结果。本发明中对现有的基线分词模型不进行改变,保证了分词模型的收敛速度,提高了分词效率,并且对基线分词模型的分词结果进行了更正,因此提高了分词结果的准确性。

    一种钓鱼网站检测方法、装置和存储介质

    公开(公告)号:CN111107048A

    公开(公告)日:2020-05-05

    申请号:CN201811270081.1

    申请日:2018-10-29

    Abstract: 本发明公开了一种钓鱼网站检测方法、装置和存储介质,用以提高钓鱼网站的检测效率和准确性。钓鱼网站检测方法,包括:从文本信息中提取待检测网站的第一网址;分别确定所述第一网址与预先配置的白名单数据库中所包含的第二网址的相似度系数;根据从文本信息中提取的第一关键词集合、相似度系数最大的第二网址对应的第二关键词集合以及相似度系数最大值,确定第一网址对应的安全风险系数;根据从待检测网站中提取的网页特征,利用网页分析模型确定所述第一网址对应的网页类型特征值;根据确定出的相似度系数中的最大值、安全风险系数和网页类型特征值,利用网页识别模型判断待检测网站是否为钓鱼网站。

Patent Agency Ranking