一种基于模型的近端策略优化方法

    公开(公告)号:CN113947022B

    公开(公告)日:2022-07-12

    申请号:CN202111220714.X

    申请日:2021-10-20

    Abstract: 本发明公开了一种基于模型的近端策略优化方法,包括步骤:获取模拟环境,并确定所述模拟环境对应的环境模型和策略网络;基于所述策略网络与所述模拟环境,确定状态数据;其中,所述状态数据包括所述模拟环境的视频序列帧;基于所述模拟环境的视频序列帧训练所述环境模型,得到已训练的环境模型输出的预测图像;基于所述预测图像,更新所述状态数据,得到更新的状态数据;基于所述更新的状态数据,更新所述策略网络,得到更新的策略网络。融合基于模型的深度强化学习算法,提出了基于模型的近端策略优化框架,较好的解决了非完全信息博弈环境下采样利用率低的问题,在提高采样率的同时提升训练速度。

    基于事后回顾和渐进式扩展的持续强化学习非完全信息博弈方法及装置

    公开(公告)号:CN114048834A

    公开(公告)日:2022-02-15

    申请号:CN202111303694.2

    申请日:2021-11-05

    Abstract: 本发明公开了一种基于事后回顾和渐进式扩展的持续强化学习非完全信息博弈方法及装置,包括下述步骤:获取非完全博弈环境,确定任务目标;构建第一神经网络和基于未来值预测的强化学习方法;构建事后经验回顾池;对第一神经网络进行训练,直至第一神经网络收敛;构建渐进式神经网络,实现网络模型的渐进式扩展;选择下一个任务作为任务目标,利用基于未来值预测的强化学习方法持续训练,直至所有的任务都训练完成。本发明通过使用非完全信息博弈场景中丰富的智能体状态变化作为监督信号,解决该环境下的奖励稀疏问题,同时引入持续学习框架渐进式神经网络对未来值预测网络结构进行动态扩展,解决了在该环境下的多任务场景中的灾难性遗忘的问题。

    一种基于Bert的动态阈值调整的智能问答系统

    公开(公告)号:CN113961667A

    公开(公告)日:2022-01-21

    申请号:CN202111112028.0

    申请日:2021-09-23

    Abstract: 本发明公开了一种基于Bert的动态阈值调整的智能问答系统,其特征在于方法步骤如下:S101:获取用户问题q;S102:将用户问题q通过基于关键字向量化的问句匹配方法,得到Kw个相似的标准问题;S103:将用户问题q通过BERT预训练模型,得到Kr个相似的标准问题;S104:按照一定的规则挑选出两个方法得到的标准问题作为匹配的标准问题集;S105:将标准问题集通过动态阈值调整模块得到最终的结果;本发明结合标准问答对知识库的管理,提出了一个动态阈值调整的问题匹配方法,可以匹配识别未训练的标准问题,进一步提高问题回答的准确率。

    隐私保护文本命名实体识别方法、装置、设备及存储介质

    公开(公告)号:CN113486665A

    公开(公告)日:2021-10-08

    申请号:CN202110757350.2

    申请日:2021-07-05

    Abstract: 本发明公开了一种隐私保护文本命名实体识别方法、装置、计算机设备及存储介质,方法包括:接收多个数据持有方发送的多个训练好的教师模型,所述教师模型通过使用源数据进行训练,包括第一预训练网络和第一序列标注层,所述源数据为标注文本数据;根据多个训练好的教师模型,利用无标签的迁移集合进行多教师知识蒸馏从而训练学生模型,所述学生模型包括第二预训练网络和第二序列标注层;利用训练好的学生模型对无标签文本数据的命名实体进行预测。本发明将知识蒸馏应用于数据分散的真实场景,在数据可用不可见的前提下,通过无标签的迁移集合,训练出强大的学生模型,从而在隐私保护的前提下,保证学生模型在命名实体识别任务上的泛化性和准确性。

    具有梳齿状折流凸起结构的微通道散热器及其制备方法

    公开(公告)号:CN113148940A

    公开(公告)日:2021-07-23

    申请号:CN202110055749.6

    申请日:2021-01-15

    Abstract: 本发明提供了具有梳齿状折流凸起结构的微通道散热器,包括微通道基体,所述微通道基体包括若干平行间隔阵列排布的微槽道,所述微槽道沿着高度方向的横截面为倒梯形,并且所述微槽道的两侧壁面周期性交错排布若干梳齿状折流凸起结构,可显著增大换热面积、破坏流体正常流动、增强扰流,实现强化换热。制备时,先加工出具有反向类梳状结构的压印模芯;将模芯与基板对准、定位,通过热压印得到具有类梳状折流凸起结构的微通道基体;最后将其进行密封封装得到上述微通道散热器。本发明解决了阵列大面积异形微通道一次加工成形的难题,具有过程简单,成本低、效率高的优点。

    一种隐私保护移动服务推荐方法及客户端、推荐系统

    公开(公告)号:CN110321479B

    公开(公告)日:2021-07-20

    申请号:CN201910447142.5

    申请日:2019-05-27

    Abstract: 一种隐私保护移动服务推荐方法及客户端、推荐系统,其中隐私保护移动服务推荐方法包括以下步骤:获取用户的样本数据,样本数据为用户的个人信息的省却信息、虚假信息、粗粒度信息或细粒度信息;根据样本数据从一网络服务提供商接收第一服务推荐列表;根据用户的细粒度信息从第一服务推荐列表中筛选且生成第二服务推荐列表;将第二服务推荐列表展示给用户。由于将第一服务推荐列表下载到本地客户端来辅助生成符合用户需求的第二服务推荐列表,使得在保证用户个人信息不受网络服务提供商侵犯的前提下,实现了为用户提供准确推荐服务的功能,能够维持移动服务推荐精度与保护用户隐私之间的平衡,利于用户更好地管理好个人信息。

    一种模型数据压缩方法、系统及相关设备

    公开(公告)号:CN112054805A

    公开(公告)日:2020-12-08

    申请号:CN202010961326.6

    申请日:2020-09-14

    Abstract: 本发明实施例提供了一种模型数据压缩方法、系统及相关设备,用于节约网络传输资源,提高模型数据压缩率。本发明实施例方法包括:计算目标模型与参考模型中的同种类型参数之间的差量数据;采用预设压缩算法对所述差量数据进行压缩得到目标压缩文件;将所述目标压缩文件发送给目标终端设备,以使得所述目标终端设备根据所述差量数据以及本地存储的所述参考模型恢复所述目标模型。

Patent Agency Ranking