基于记忆力机制的预训练语言模型参数微调方法和装置

    公开(公告)号:CN115146651A

    公开(公告)日:2022-10-04

    申请号:CN202210758569.9

    申请日:2022-06-30

    Abstract: 本发明公开了基于记忆力机制的预训练语言模型参数微调方法,包括:构建微调预训练语言模型,其包括,获取初始BERT模型;分别将记忆力机制模块引入到所述初始BERT模型的全连接前馈网络模块和多头注意机制模块中,获得微调BERT模型,记忆力机制模块包含参数M、KP、VP;获取任务训练数据,将其划分为训练集和验证集,采用所述训练数据对所述微调BERT模型进行训练,训练时,固定所述微调BERT模型中其余参数,只对参数M、KP、VP进行迭代更新。本发明的方法极大地降低了BERT模型中参数学习的规模,提升了BERT模型对下游任务的迁移学习能力。

    用于旅行时间预测的深度学习网络模型及其建立方法

    公开(公告)号:CN106981198A

    公开(公告)日:2017-07-25

    申请号:CN201710371764.5

    申请日:2017-05-24

    CPC classification number: G08G1/0129

    Abstract: 本发明提供了一种基于网络融合考虑交通状态时空关系的旅行时间预测方法。本发明通过对浮动车数据精细化处理,进而得到高精度数据。具体的,本发明对浮动车数据精细化处理过程,巧妙的利用了目前主要应用于人工智能领域的卷积神经网络和循环神经网络,并将所述网络进行融合,充分考虑了交通状态的时空关系,深度挖掘交通状态演变规律,最终实现了精确预测旅行时间。与以往各类旅行时间预测模型相比,本发明提供的方法将交通状态的时空关系融合起来,充分挖掘历史数据特征,克服了其他方法无法应对交通流高度时变特性和非线性变化特征的难题,不需要先验知识和参数识别,具有较强的容错性和鲁棒性,精度高,稳定性好。

    基于浮动车时空网格数据的城市快速路旅行时间预测方法

    公开(公告)号:CN106228808A

    公开(公告)日:2016-12-14

    申请号:CN201610639153.X

    申请日:2016-08-05

    CPC classification number: G08G1/0129 G08G1/0112

    Abstract: 本发明是一种基于浮动车时空网格数据的城市快速路旅行时间预测方法,属于智能交通领域。本发明首先对浮动车数据进行处理,获取时空速度矩阵,计算给定各个出发时刻的通过整个目标路径的瞬时旅行时间和真实旅行时间;其次创建历史数据库,建立工作日和非工作日两类历史数据库;然后建立预测模型,在建立时,利用灰度共生矩阵从时空速度矩阵中提取交通的时变特征,从历史数据库中选取相似的历史交通状态,再利用待预测交通状态的瞬时旅行时间与历史交通状态进行二次匹配,进行权重分配,获得最终的预测旅行时间。本发明充分挖掘历史数据特征,模型简单高效,无需长期训练过程,不需要先验知识和参数识别,具有较强的容错性和鲁棒性,稳定性高。

    用于旅行时间预测的深度学习网络模型及其建立方法

    公开(公告)号:CN106981198B

    公开(公告)日:2020-11-03

    申请号:CN201710371764.5

    申请日:2017-05-24

    Abstract: 本发明提供了一种基于网络融合考虑交通状态时空关系的旅行时间预测方法。本发明通过对浮动车数据精细化处理,进而得到高精度数据。具体的,本发明对浮动车数据精细化处理过程,巧妙的利用了目前主要应用于人工智能领域的卷积神经网络和循环神经网络,并将所述网络进行融合,充分考虑了交通状态的时空关系,深度挖掘交通状态演变规律,最终实现了精确预测旅行时间。与以往各类旅行时间预测模型相比,本发明提供的方法将交通状态的时空关系融合起来,充分挖掘历史数据特征,克服了其他方法无法应对交通流高度时变特性和非线性变化特征的难题,不需要先验知识和参数识别,具有较强的容错性和鲁棒性,精度高,稳定性好。

    基于不同人格特征的文本观点挖掘方法

    公开(公告)号:CN110825842A

    公开(公告)日:2020-02-21

    申请号:CN201910959523.1

    申请日:2019-10-10

    Abstract: 本发明公开了一种基于不同人格特征的文本观点挖掘方法,包括以下步骤:S1、构建最大熵模型;S2、针对某个事件,将全语料依据人格特征分成多个集合语料c,并通过耦合的狄利克雷过程DP构建跨人格特征主题模型;S3、每条文档进行分词处理,将每条文档的分词组成输入列表,作为跨人格特征主题模型的输入,并初始化跨人格特征主题模型的参数;S4、根据输入内容,采用吉布斯采样法,依据跨人格特征主题模型、最大熵模型迭代计算得出最终的人格特征主题模型的参数。本发明具有自动、准确地发现事件的主要主题,并区分不同人格特征对每个主题的客观方面(属性词)和主观观点(观点词)的有益效果。

    基于浮动车时空网格数据的城市快速路旅行时间预测方法

    公开(公告)号:CN106228808B

    公开(公告)日:2019-04-30

    申请号:CN201610639153.X

    申请日:2016-08-05

    Abstract: 本发明是一种基于浮动车时空网格数据的城市快速路旅行时间预测方法,属于智能交通领域。本发明首先对浮动车数据进行处理,获取时空速度矩阵,计算给定各个出发时刻的通过整个目标路径的瞬时旅行时间和真实旅行时间;其次创建历史数据库,建立工作日和非工作日两类历史数据库;然后建立预测模型,在建立时,利用灰度共生矩阵从时空速度矩阵中提取交通的时变特征,从历史数据库中选取相似的历史交通状态,再利用待预测交通状态的瞬时旅行时间与历史交通状态进行二次匹配,进行权重分配,获得最终的预测旅行时间。本发明充分挖掘历史数据特征,模型简单高效,无需长期训练过程,不需要先验知识和参数识别,具有较强的容错性和鲁棒性,稳定性高。

    基于不同人格特征的文本观点挖掘方法

    公开(公告)号:CN110825842B

    公开(公告)日:2022-07-29

    申请号:CN201910959523.1

    申请日:2019-10-10

    Abstract: 本发明公开了一种基于不同人格特征的文本观点挖掘方法,包括以下步骤:S1、构建最大熵模型;S2、针对某个事件,将全语料依据人格特征分成多个集合语料c,并通过耦合的狄利克雷过程DP构建跨人格特征主题模型;S3、每条文档进行分词处理,将每条文档的分词组成输入列表,作为跨人格特征主题模型的输入,并初始化跨人格特征主题模型的参数;S4、根据输入内容,采用吉布斯采样法,依据跨人格特征主题模型、最大熵模型迭代计算得出最终的人格特征主题模型的参数。本发明具有自动、准确地发现事件的主要主题,并区分不同人格特征对每个主题的客观方面(属性词)和主观观点(观点词)的有益效果。

Patent Agency Ranking