-
Patent Agency Ranking
公开(公告)号：CN110555197B
公开(公告)日：2021-04-02
申请号：CN201810549683.4
申请日：2018-05-31
Applicant: 清华大学
IPC: G06F40/166
Abstract: 本发明实施例公开一种中文诗歌自动生成方法及装置，能自动生成紧密扣题、上下文连贯一致、接近人类创作水平的高质量中文诗歌。方法包括：S1、获取用户输入的关键词，将所述关键词编码为向量，将所述向量存储在第一区域；S2、从所述第一区域、第二区域和第三区域读取与待生成的当前诗句最相关的内容，利用所述最相关的内容生成当前诗句；S3、将所述当前诗句存储在所述第二区域，将上一次生成的诗句中重要的部分存储在所述第三区域，在判断获知整首诗歌未生成完毕时，执行步骤S2，或者在判断获知整首诗歌生成完毕时，结束。
-
公开(公告)号：CN116663548A
公开(公告)日：2023-08-29
申请号：CN202310448734.5
申请日：2023-04-24
Applicant: 清华大学
IPC: G06F40/289 , G06F40/30 , G06F18/214
Abstract: 本发明提供一种基于决策的预训练语言模型蒸馏方法及系统，包括：获取预训练语言模型的训练数据集，对所述训练数据集进行增广，计算基于经验估计决策分布；根据预训练语言模型的决策蒸馏训练获取理论估计决策分布；将所述经验估计决策分布与理论估计决策分布联立求解，生成概率模型近似解；基于所述概率模型近似解使用标准的蒸馏方法进行知识蒸馏。本发明解决了现有模型知识蒸馏不全面、蒸馏效果有限的问题。
-
公开(公告)号：CN110555197A
公开(公告)日：2019-12-10
申请号：CN201810549683.4
申请日：2018-05-31
Applicant: 清华大学
IPC: G06F17/24
Abstract: 本发明实施例公开一种中文诗歌自动生成方法及装置，能自动生成紧密扣题、上下文连贯一致、接近人类创作水平的高质量中文诗歌。方法包括：S1、获取用户输入的关键词，将所述关键词编码为向量，将所述向量存储在第一区域；S2、从所述第一区域、第二区域和第三区域读取与待生成的当前诗句最相关的内容，利用所述最相关的内容生成当前诗句；S3、将所述当前诗句存储在所述第二区域，将上一次生成的诗句中重要的部分存储在所述第三区域，在判断获知整首诗歌未生成完毕时，执行步骤S2，或者在判断获知整首诗歌生成完毕时，结束。
-
公开(公告)号：CN119168074A
公开(公告)日：2024-12-20
申请号：CN202411042039.X
申请日：2024-07-31
Applicant: 清华大学 , 杭州阿里云飞天信息技术有限公司
IPC: G06N5/043 , G06N5/04 , G06N5/022 , G06F18/214
Abstract: 本发明提供一种基于偏好学习增强大语言模型的领域特定能力的方法及系统，包括：获取无标签数据，通过预设的领域专家模型对所述无标签数据进行推理，生成相应的输出分布；将所述输出分布输入至大语言模型，通过所述大语言模型基于输出分布生成偏好增强数据；对所述偏好增强数据进行汇总，整理为新的训练数据集，通过新的训练数据集对所述大语言模型进行微调；对微调后的大语言模型进行模型评估，基于评估结果对大语言模型进行二次调整，完成大语言模型的领域特定能力增强。本发明解决了现有大语言模型在特定领域生成文本不准确的问题。
-
公开(公告)号：CN115965077A
公开(公告)日：2023-04-14
申请号：CN202211478056.9
申请日：2022-11-23
Applicant: 清华大学
Abstract: 本发明实施例提供一种深度不动点网络的白盒对抗鲁棒性评价方法及装置，该方法包括：对深度不动点网络进行对抗训练；对深度不动点网络的前向迭代求解器给出的中间状态进行梯度估计，得到中间状态对应的中间梯度；利用中间梯度获取自适应的白盒攻击方法；基于经过对抗训练的深度不动点网络，利用中间状态获取自适应的防御方法；使用白盒攻击方法和防御方法对深度不动点网络进行白盒鲁棒性评价。本发明实施例提供的深度不动点网络的白盒对抗鲁棒性评价方法及装置，能够有效地避免DEQ网络因其网络设计带来的梯度混淆问题，从而能够对其白盒鲁棒性进行真实评价，并可扩展应用于其他隐式定义的网络模型。
-
-
-
-
Search Results
5
records
(took 0.018 seconds)
