-
公开(公告)号:CN115410207B
公开(公告)日:2023-08-29
申请号:CN202110588830.0
申请日:2021-05-28
Applicant: 国家计算机网络与信息安全管理中心天津分中心 , 中国科学院信息工程研究所
IPC: G06V30/148 , G06F40/289 , G06F40/216
Abstract: 本发明公开一种针对竖排文本的检测方法及装置,包括扫描待检测文本,确定换行符的位置,得到一个位置列表,并基于该位置列表,计算每行文字长度;截取连续t行中每行文字长度一致的文本,保留截取文本中的有效字符,得到保留文本;对保留文本进行分词,并根据得到第一分词结果,获取截取文本的初步检测结果;若初步检测结果判断截取文本为竖排文本,则将截取文本转换为二维的字符矩阵,并删除换行符,对该字符矩阵作转置,得到转置文本;对转置文本进行分词,并根据得到第二分词结果,获取截取文本的检测结果。本发明可确定竖排文字的区域,去除竖排文本中的干扰字符,并恢复成一般的横向文本,同时处理竖排文本中普遍存在的错别字现象。
-
公开(公告)号:CN113779961A
公开(公告)日:2021-12-10
申请号:CN202010518026.0
申请日:2020-06-09
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F40/211 , G06F40/253 , G06F40/289
Abstract: 本发明提供一种自然语言文本的惯用句式提取方法及电子装置,包括:对采集到的每一语句进行分词、词性标注及依存句法分析;将各语句转换为若干单句,并依据词性标注结果与依存句法分析结果,对各单句主干进行抽取,将各单句表示为词汇和词性标签的列表;将各单句的列表进行合并,得到各语句的惯用句式。本发明提出一种不损失句式信息的长难句化简方法,针对句式提取的需要对中文长难句中非句子主干部分进行处理,提高句式提取准确度,本发明还提出一种句式信息表示结构,使用词汇、词汇候选集、词性标签来表示句式信息,保留尽可能多的句式信息。
-
公开(公告)号:CN113761903B
公开(公告)日:2025-01-17
申请号:CN202010504536.2
申请日:2020-06-05
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F40/289 , G06F40/30 , G06F40/232 , G06F16/35 , G06N3/0464 , G06N3/045
Abstract: 本发明提出一种针对海量高噪音口语化短文本的文本筛选方法,属于自然语言处理领域,通过对训练语料和待筛选的目标文本进行预处理;对预处理后的训练语料中的标注的正类语料进行句式信息提取,区分出业务强相关句式和弱相关句式;利用提取的句式信息对预处理后的目标文本进行句式匹配,将业务强相关句式的匹配结果归为正类文本,对业务弱相关句式的匹配结果进行以下步骤的处理;对目标文本和训练语料都进行文本处理,将处理后的文本转化为词向量表示;使用训练语料的词向量表示训练文本分类模型,将目标文本的词向量表示输入到训练好的文本分类模型中对文本进行分类,实现对目标文本的文本筛选。
-
公开(公告)号:CN115617962A
公开(公告)日:2023-01-17
申请号:CN202110806921.7
申请日:2021-07-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F16/332 , G06F16/9532 , G06F40/279
Abstract: 本发明提供一种网络公害文本识别方法及装置,包括:通过提取目标网络文本中的网址链接,对目标网络文本进行初步判定;若无法判定,则计算无效信息度,并生成目标网络文本的拼音列表、关键词列表、及关键词拼音列表;通过各关键词的字元素在目标网络文本中的分布及关键词拼音在目标网络文本拼音列表中的分布,计算各关键词的网络公害分;基于无效信息度对网络公害分进行修订,并根据修订结果,得到网络公害文本识别结果。本发明通过网络公害关键词字符和拼音的模糊匹配,可以准确识别出网络公害文本,同时可以有效应对目标文本中网络公害词被分割、倒序、文字竖排、谐音字等信息隐藏手段。
-
公开(公告)号:CN113779961B
公开(公告)日:2024-10-01
申请号:CN202010518026.0
申请日:2020-06-09
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F40/211 , G06F40/253 , G06F40/289
Abstract: 本发明提供一种自然语言文本的惯用句式提取方法及电子装置,包括:对采集到的每一语句进行分词、词性标注及依存句法分析;将各语句转换为若干单句,并依据词性标注结果与依存句法分析结果,对各单句主干进行抽取,将各单句表示为词汇和词性标签的列表;将各单句的列表进行合并,得到各语句的惯用句式。本发明提出一种不损失句式信息的长难句化简方法,针对句式提取的需要对中文长难句中非句子主干部分进行处理,提高句式提取准确度,本发明还提出一种句式信息表示结构,使用词汇、词汇候选集、词性标签来表示句式信息,保留尽可能多的句式信息。
-
公开(公告)号:CN113761903A
公开(公告)日:2021-12-07
申请号:CN202010504536.2
申请日:2020-06-05
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F40/289 , G06F40/30 , G06F40/232 , G06F16/35 , G06N3/04
Abstract: 本发明提出一种针对海量高噪音口语化短文本的文本筛选方法,属于自然语言处理领域,通过对训练语料和待筛选的目标文本进行预处理;对预处理后的训练语料中的标注的正类语料进行句式信息提取,区分出业务强相关句式和弱相关句式;利用提取的句式信息对预处理后的目标文本进行句式匹配,将业务强相关句式的匹配结果归为正类文本,对业务弱相关句式的匹配结果进行以下步骤的处理;对目标文本和训练语料都进行文本处理,将处理后的文本转化为词向量表示;使用训练语料的词向量表示训练文本分类模型,将目标文本的词向量表示输入到训练好的文本分类模型中对文本进行分类,实现对目标文本的文本筛选。
-
公开(公告)号:CN115915038A
公开(公告)日:2023-04-04
申请号:CN202110805859.X
申请日:2021-07-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
Abstract: 本发明公开了一种基于移动用户信令数据的跨城通勤用户识别方法及装置,包括:基于每一周期的白天时间段与夜间时间段,利用目标区域的移动用户信令数据获取该周期日工作用户与该周期日居住用户;依据该周期日工作用户的该周期夜间信令数据与该周期日居住用户的该周期白天信令数据,分别得到该周期夜间信令消失用户与该周期白天信令消失用户;利用全部移动用户在设定时间段内成为该周期夜间信令消失用户或该周期白天信令消失用户的次数,得到跨城通勤用户识别结果。本发明基于原始信令数据挖掘跨城通勤用户,采用Spark计算框架进行分析处理,具有高可靠性和高效率,可用于区域人口监管。
-
公开(公告)号:CN115700514A
公开(公告)日:2023-02-07
申请号:CN202110806905.8
申请日:2021-07-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F16/35 , G06F16/332 , G06F40/30 , G06F18/2411
Abstract: 本发明公开了一种结合BIGRU和多头注意的事件主体提取方法及装置,包括:把文本数据转化为文本输入序列X;利用BiGRU网络获取文本输入序列X对应的向量XB;基于文本输入序列X与向量XB进行多头注意力计算;依据注意力计算结果,获取事件主体提取结果。本发明使用BIGRU网络学习上下文语义特征,通过引入多头注意力机制捕获序列中的关键特征信息,提高了工作效率及准确性。
-
公开(公告)号:CN115438239A
公开(公告)日:2022-12-06
申请号:CN202110623899.2
申请日:2021-06-04
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/9035 , G06F16/906
Abstract: 本发明公开一种自动化异常样本筛选的异常检测方法及装置,包括依据数据集中各数据的特征,进行数据筛选;对筛选得到的数据进行特征降维;针对特征降维后的数据进行异常检测,得到若干候选数据;对所有候选数据作聚类,得到带类别标签的异常数据。本发明利用特征筛选和特征降维方法,解决异常检测算法难以处理高维度特征的问题,并结合对异常检验算法和聚类算法,实现了对异常样本的自动化分析,在整个流程中不需要人工干预,大大减少了异常样本发现与分析过程中的人力投入。
-
公开(公告)号:CN115410207A
公开(公告)日:2022-11-29
申请号:CN202110588830.0
申请日:2021-05-28
Applicant: 国家计算机网络与信息安全管理中心天津分中心 , 中国科学院信息工程研究所
IPC: G06V30/148 , G06F40/289 , G06F40/216
Abstract: 本发明公开一种针对竖排文本的检测方法及装置,包括扫描待检测文本,确定换行符的位置,得到一个位置列表,并基于该位置列表,计算每行文字长度;截取连续t行中每行文字长度一致的文本,保留截取文本中的有效字符,得到保留文本;对保留文本进行分词,并根据得到第一分词结果,获取截取文本的初步检测结果;若初步检测结果判断截取文本为竖排文本,则将截取文本转换为二维的字符矩阵,并删除换行符,对该字符矩阵作转置,得到转置文本;对转置文本进行分词,并根据得到第二分词结果,获取截取文本的检测结果。本发明可确定竖排文字的区域,去除竖排文本中的干扰字符,并恢复成一般的横向文本,同时处理竖排文本中普遍存在的错别字现象。
-
-
-
-
-
-
-
-
-