-
公开(公告)号：CN119962548A
公开(公告)日：2025-05-09
申请号：CN202510093157.1
申请日：2025-01-21
Applicant: 厦门大学
IPC: G06F40/58 , G06N5/04 , G06N3/0464
Abstract: 结合预训练语言模型的跨模态非自回归解码方法及系统，涉及跨模态翻译。解码系统依次包括目标排列采样、预训练文本编码、预训练文本解码、预训练损失计算、源端特征提取、下游编码、CTC增强、下游解码、下游任务损失计算、输出等模块。解码方法：采样预训练训练样本以及目标排列；将源端文本编码为隐向量；目标端文本解码；预训练阶段损失计算；初始化下游跨模态非自回归翻译模型的参数；源端特征提取；源端特征编码；下游解码模块输入生成；解码模块生成翻译结果；计算下游跨模态非自回归翻译模型损失；下游跨模态非自回归翻译结果输出。利用Random Drop以及CTC，缓解预训练和微调阶段解码器输入的模态差异。
Search Results
1
records
(took 0.012 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
