互联网金融项目信息抽取方法和系统

    公开(公告)号:CN108959204B

    公开(公告)日:2021-03-05

    申请号:CN201810653622.2

    申请日:2018-06-22

    Abstract: 本发明涉及一种互联网金融项目信息抽取方法和系统,包括:获取包含金融项目信息的训练网页,为训练网页划分目标项目区域,并为目标项目区域中的DOM树节点标注属性标签,根据训练网页的二维图像、HTML代码、DOM树,抽取DOM树节点的特征向量作为训练数据,训练属性标注模型;获取金融项目信息的待抽取网页,将待抽取网页的DOM树,确定待抽取网页的目标项目区域,根据待抽取网页的目标项目区域中项目列表是否为表格,执行相应的抽取步骤。本发明通过将两种不同特点的互联网金融项目列表分开并对应使用不同的抽取方法,极大的提高了抽取的效率和准确率。

    一种网站列表页面的分类方法、系统及存储介质

    公开(公告)号:CN112287272A

    公开(公告)日:2021-01-29

    申请号:CN202011161424.8

    申请日:2020-10-27

    Abstract: 本发明涉及一种网站列表页面的分类方法,所述分类方法基于超文本标记语言标签(HTML Tag),所述分类方法包括:步骤100、获取一组网站网页;步骤200、分别针对每一所述网站网页提取所述网站网页的统计特征和结构特征,得到每一所述网站网页对应的特征序列;步骤300、将所述特征序列输入神经网络进行所述神经网络的训练,得到网站列表页面分类器;步骤400、获取待分类的网站网页,根据所述步骤200得到所述待分类的网站网页的特征序列,将所述待分类的网站网页的特征序列输入所述步骤300得到的所述网站列表页面分类器,判断该待分类的网站网页是否为网站列表页面。

    一种针对事件的话题表示生成方法及系统

    公开(公告)号:CN110795943A

    公开(公告)日:2020-02-14

    申请号:CN201910909274.5

    申请日:2019-09-25

    Abstract: 本发明提出一种针对事件的话题表示生成方法及系统,包括:获取包含多个文档的文档集,且该多篇文档表述同一事件,提取该文档集中各个文档的标题,形成该事件的标题集合;通过对该标题集合中每N个标题获取其最长公共子序列,得到该标题集合的最长公共子序列集合;统计该最长公共子序列集合中各非空最长公共子序列的出现次数,选择出现次数最多的前K个高频最长公共子序列,从该前K个高频最长公共子序列中筛选出1个高频最长公共子序列作为该事件的话题表示。本发明无需人工干预,其中不存在人为因素,省时省力。因此,相比现有的技术,提高了针对事件的话题表示的可读性,经过筛选处理得到的话题表示也较精炼和准确。

    一种基于脚本的网页采集服务方法和系统

    公开(公告)号:CN109815387A

    公开(公告)日:2019-05-28

    申请号:CN201811637869.1

    申请日:2018-12-29

    Abstract: 本发明涉及一种基于脚本的网页采集服务方法和系统,包括:客户端,服务前端和服务执行单元,服务执行单元处理服务请求的过程包括:根据脚本队列中采集脚本的顺序,调度脚本队列中位于队首的采集脚本作为执行脚本;解释执行执行脚本,当执行脚本执行到调用函数时,判断调用函数是否为采集函数,若是,则将采集网页的任务发给网页采集模块,对执行脚本指定的网址进行网页采集处理,得到网址的网页信息作为采集函数的返回值,否则执行调用函数调用的功能,并将执行结果作为调用函数的返回值。由此本发明可通过调用服务的方式处理复杂的网页采集任务,适应性更强。

    一种任意尺度的话题脉络实时生成方法及系统

    公开(公告)号:CN112307278B

    公开(公告)日:2024-02-23

    申请号:CN202011154213.1

    申请日:2020-10-26

    Abstract: 本发明提出一种任意尺度的话题脉络实时生成方法及系统,包括:获取话题历史数据,该话题历史数据包括指定时间范围内预设时间单位的子话题及各子话题所包含的文档;以子话题作为节点,根据该指定时间范围内子话题间的相关性,建立节点间的连边,得到该话题历史数据的图数据;通过动态规划得到该指定时间范围内预设时间单位中各节点的路径权值最大的前k条路径,从所有的出度为0的各节点的该前k条路径中选出权值最大的前k条路径作为该话题历史数据的话题脉络,其中k为正整数。

    基于自适应权重的语义检索模型融合方法及系统

    公开(公告)号:CN117076598A

    公开(公告)日:2023-11-17

    申请号:CN202310518172.7

    申请日:2023-05-09

    Abstract: 本发明提出一种基于自适应权重的语义检索模型融合方法,包括:以检索信息进行稀疏检索,获取稀疏检索结果及对应的稀疏排序分值;以该检索信息进行稠密检索,获取稠密检索结果及对应的稠密排序分值;构建权重预测模型,基于该检索信息、该稀疏检索结果和该稠密检索结果通过该权重预测模型获取融合权重;以该融合权重、该稀疏排序分值和该稠密排序分值,生成融合排序分值;根据该融合排序分值,将该稀疏检索结果和该稠密检索结果进行排序,生成最终检索结果。本发明还提出一种基于自适应权重的语义检索模型融合系统,以及一种用于基于自适应权重的语义检索模型融合的数据处理装置。

    一种基于编排执行的信息获取方法和系统

    公开(公告)号:CN116126553A

    公开(公告)日:2023-05-16

    申请号:CN202211689339.8

    申请日:2022-12-27

    Abstract: 本发明提出一种基于编排执行的信息获取方法,包括:根据对目标信源的多层树状采集需求生成任务树,编排该任务树的初始配置;将该初始配置放入任务队列;由原子采集器获取该初始配置,根据该初始配置生成根采集任务;执行该根采集任务,生成该根采集任务的子任务的任务配置,将该任务配置放入任务队列,并输出该根采集任务的采集结果;由原子采集器获取任务配置,根据该任务配置生成当前任务;执行该当前任务,生成该当前任务的子任务的任务配置,将该任务配置放入任务队列,并输出该当前任务的采集结果;重复本步骤,直到完成该任务树。本发明还提出一种基于编排执行的信息获取系统,以及一种用于实现基于编排执行的信息获取的数据处理装置。

    基于事件因果关系抽取的网络苗头事件检测方法及系统

    公开(公告)号:CN110705597B

    公开(公告)日:2022-11-11

    申请号:CN201910833900.7

    申请日:2019-09-04

    Abstract: 本发明提出一种基于事件因果关系抽取的网络苗头事件检测方法及系统,包括:将苗头因果事件对中原因事件作为苗头事件,存入苗头事件样本库,以苗头事件样本库的数据作为训练集,训练基于机器学习的第一苗头事件分类器,并将苗头因果事件对的因果联系作为苗头事件判定规则,存入苗头事件判定规则库,以苗头事件判定规则库构建基于规则的第二苗头事件分类器;对指定的网络平台进行事件抽取,得到多个结构化事件,并将多个结构化事件中指代同一个事件的结构化事件统一为一个共指事件,并对共指事件进行泛化,得到网络平台的抽象事件,使用第一苗头事件分类器和第二苗头事件分类器分别处理抽象事件,综合两者的结果作为网络平台苗头事件的检测结果。

Patent Agency Ranking