数据处理的方法、系统及电子设备

    公开(公告)号:CN117150106B

    公开(公告)日:2024-02-13

    申请号:CN202311427537.1

    申请日:2023-10-31

    Abstract: 本申请公开了一种数据处理的方法、系统及电子设备。其中,该方法包括:获取数据采集请求,其中,数据采集请求中包含不同数据源的数据采集信息;依据数据采集信息,确定与数据源对应的数据采集类型,其中,数据采集类型包括以下至少之一:新闻类数据和社交媒体类数据;响应于数据采集请求,确定与数据采集类型对应的数据集合,其中,数据集合中包括多条数据;确定多条数据之间的属性差异,并根据属性差异对多条数据进行组合处理,其中,属性差异至少包括:多条数据之间的文本相似度差异;展示经过组合处理后的数据。本申请解决了相关技术中的数据采集对不同类型的数据会存在不支持的技术问题。

    数据处理的方法、系统及电子设备

    公开(公告)号:CN117150106A

    公开(公告)日:2023-12-01

    申请号:CN202311427537.1

    申请日:2023-10-31

    Abstract: 本申请公开了一种数据处理的方法、系统及电子设备。其中,该方法包括:获取数据采集请求,其中,数据采集请求中包含不同数据源的数据采集信息;依据数据采集信息,确定与数据源对应的数据采集类型,其中,数据采集类型包括以下至少之一:新闻类数据和社交媒体类数据;响应于数据采集请求,确定与数据采集类型对应的数据集合,其中,数据集合中包括多条数据;确定多条数据之间的属性差异,并根据属性差异对多条数据进行组合处理,其中,属性差异至少包括:多条数据之间的文本相似度差异;展示经过组合处理后的数据。本申请解决了相关技术中的数据采集对不同类型的数据会存在不支持的技术问题。

    船载自动识别系统完整静态信息快速更新方法

    公开(公告)号:CN116193364A

    公开(公告)日:2023-05-30

    申请号:CN202310164365.7

    申请日:2023-02-24

    Inventor: 胡波 陈昕

    Abstract: 本发明提供的一种船载自动识别系统完整静态信息快速更新方法,包括以下步骤:S1.构建数据库,数据库包括MMSI号以及MMSI号对应的船舶信息;S2.实时获取船舶的AIS信号,并解析AIS信号中的数据;S3.判断AIS信号数据中的MMSI号是否存在于数据库中,如是,则将AIS信号数据中的MMSI号对应的船舶数据更新至数据库中该MMSI号对应的船舶信息中;如否,则将该AIS信号数据中的MMSI号以及对应的船舶信息写入至数据库中。通过上述方法,能够快速的对数据库中的船舶的静态信息进行更新、存储,使得船舶信息完整化,当船舶之间或者船舶与调度中心之间通信时能够准确进行AIS信息匹配以及调度,从而有效确保船舶航行安全。

    基于AIS和ADS-B结合的热点数据融合方法

    公开(公告)号:CN116166897B

    公开(公告)日:2024-08-13

    申请号:CN202310164364.2

    申请日:2023-02-24

    Inventor: 胡波 黄挺

    Abstract: 本发明提供的一种基于AIS和ADS‑B结合的热点数据融合方法,包括:S1.获取目标海域的船舶AIS数据以及飞机ADS‑B数据;S2.获取目标海域的新闻事件的文本信息,并从新闻事件文本信息中提取出目标新闻事件信息;S3.将船舶AIS数据、飞机ADS‑B数据以及目标新闻事件信息进行信息融合形成关联信息,通过上述方法,将热点事件以及热点事件发生未知设定范围内的船舶以及飞机相关数据形成一个关联的信息,从而在对热点事件分析时能够同时调用相对应的船舶和飞机相关数据,利于后续船舶以及飞机航行计划等制定。

    基于特点主题的文本摘要生成方法

    公开(公告)号:CN116842172A

    公开(公告)日:2023-10-03

    申请号:CN202310724024.0

    申请日:2023-06-16

    Inventor: 胡波 黄挺

    Abstract: 本发明提供的一种基于特点主题的文本摘要生成方法,包括以下步骤:S2.对事件新闻进行预处理;S3.对预处理后的事件新闻中的语句进行权重计算,并将各语句的权重进行由大到小进行排序,选择权重最大的m个语句,并将筛选出的m个语句在事件新闻原文中的顺序进行组合形成摘要信息;S4.采用Bert模型对预处理后的新闻事件进行处理,得到文本X,并将文本输入至SRU模型中进行训练,并将SRU模型的输出输入至注意力模型中进行提取,得到注意力特征A,并基于注意力特征A得到事件新闻文本第i个语句的预测结果;S5.构建摘要生成模型UniLM,将第i个语句的预测结果和步骤S3中形成的摘要信息输入至摘要生成模型UniLM中并对摘要生成模型UniLM进行训练;S6.获取目标事件新闻,将目标事件新闻通过步骤S2、S3和S4处理后,将步骤S3处理后得到的摘要信息和步骤S4中的SRU模型输出的信息输入至步骤S5训练完成后的摘要生成模型UniLM中处理,输出最终的文本摘要。

    基于AIS和ADS-B结合的热点数据融合方法

    公开(公告)号:CN116166897A

    公开(公告)日:2023-05-26

    申请号:CN202310164364.2

    申请日:2023-02-24

    Inventor: 胡波 黄挺

    Abstract: 本发明提供的一种基于AIS和ADS‑B结合的热点数据融合方法,包括:S1.获取目标海域的船舶AIS数据以及飞机ADS‑B数据;S2.获取目标海域的新闻事件的文本信息,并从新闻事件文本信息中提取出目标新闻事件信息;S3.将船舶AIS数据、飞机ADS‑B数据以及目标新闻事件信息进行信息融合形成关联信息,通过上述方法,将热点事件以及热点事件发生未知设定范围内的船舶以及飞机相关数据形成一个关联的信息,从而在对热点事件分析时能够同时调用相对应的船舶和飞机相关数据,利于后续船舶以及飞机航行计划等制定。

    数据处理方法、装置及计算机可读存储介质

    公开(公告)号:CN115062676B

    公开(公告)日:2022-11-22

    申请号:CN202210989796.2

    申请日:2022-08-18

    Abstract: 本发明公开了一种数据处理方法、装置及计算机可读存储介质。其中,该方法包括:获取目标非结构化数据;采用预定打标模型,对目标非结构化数据进行打标,得到目标非结构化数据的新增标签;确定目标非结构化数据的历史标签,其中,历史标签为来自预定数据库中的已有标签;基于新增标签和历史标签,对目标非结构化数据进行打标,得到目标非结构化数据的目标标签。本发明解决了针对非结构化数据打标效果差、效率低、实时性差的技术问题。

    新闻事件文本排序方法
    8.
    发明公开

    公开(公告)号:CN116340499A

    公开(公告)日:2023-06-27

    申请号:CN202310164362.3

    申请日:2023-02-24

    Inventor: 胡波 黄挺 唐远亮

    Abstract: 本发明提供的一种新闻事件文本排序方法,包括以下步骤:S1.从目标网页中抓取同一事件的新闻的文本信息;S2.采用预先设定的分词模型对文本信息进行分词处理,然后进行去除停用词处理;S3.采用Bert模型构建词向量,并确定词向量的权重,并给予词向量和词向量的权重构建文本向量;S4.基于文本向量构建事件向量;S5.计算事件向量与每个文本向量之间的相似度,并对相似度按照由大到小的顺序进行排列。通过上述方法,能够对新闻事件的信息进行全面、有效的掌握,并且能够对新闻事件进行相应的排序,用户能够根据得到的排序结果获取重要度最高的新闻事件,从而利于用户快速掌握新闻事件的具体内容,方便使用。

    数据处理方法、装置及计算机可读存储介质

    公开(公告)号:CN115062676A

    公开(公告)日:2022-09-16

    申请号:CN202210989796.2

    申请日:2022-08-18

    Abstract: 本发明公开了一种数据处理方法、装置及计算机可读存储介质。其中,该方法包括:获取目标非结构化数据;采用预定打标模型,对目标非结构化数据进行打标,得到目标非结构化数据的新增标签;确定目标非结构化数据的历史标签,其中,历史标签为来自预定数据库中的已有标签;基于新增标签和历史标签,对目标非结构化数据进行打标,得到目标非结构化数据的目标标签。本发明解决了针对非结构化数据打标效果差、效率低、实时性差的技术问题。

Patent Agency Ranking