公开(公告)号：CN116955972A

公开(公告)日：2023-10-27

申请号：CN202310938023.6

申请日：2023-07-28

Applicant: 之江实验室

Inventor： 黄君豪 ,  毛瑞琛 ,  向宗元 ,  陈群 ,  杨纲

IPC: G06F18/21 ,  G06N3/092 ,  G06N3/0455

Abstract: 一种人工反馈强化学习优化文本生成图像模型的方法及系统，其方法包括：1)准备一个用于文本生成图片的text2image初始模型和用于对文本图片对进行打分的reward初始模型；2)用步骤1)的生成模型生成文本对应的图像并进行人工标注，包括在线标注和离线标注两种方式；3)基于步骤2)得到的人工标注的文本‑图像数据集，以reward初始模型为预训练模型训练一个能对文本图片匹配度打分的reward模型；4)基于步骤3)训练好的reward模型，并准备好训练用的输入文本数据集，采用人工反馈强化学习方法对text2image初始模型进行微调。本发明通过人工对原模型生成的数据进行标注，再利用标注好的数据微调原模型，来纠正以上问题，使得模型的生成结果更符合语义信息。

公开(公告)号：CN117077691A

公开(公告)日：2023-11-17

申请号：CN202310883256.0

申请日：2023-07-18

Applicant: 之江实验室

Inventor： 黄君豪 ,  毛瑞琛 ,  杨纲 ,  李萌坚

IPC: G06F40/58 ,  G06F40/166 ,  G06F40/284 ,  G06N3/0455 ,  G06N3/084 ,  G09B21/00

Abstract: 本发明公开了一种基于规则生成数据增强的手语词目序列翻译方法及系统，包括以下步骤：基于语义相似度建立中文词到手语词目的映射关系；基于映射关系通过替换方式将中文文本序列翻译成伪手语词目序列，基于噪声规则将伪手语词目序列增强以生成伪平行语料对；利用伪平行语料对预训练机器翻译模型得到预训练模型；利用真实双语语料对预训练模型进行微调得到最终翻译模型；利用最终翻译模型进行手语词目序列的翻译。系统包括：映射关系建立模块、数据增强模块、预训练模块、微调模块以及翻译模块。上述方法及系统针对中文文本生成手语词目序列的任务，旨在尽可能提高手语词目翻译水平，为听障人士提供便利。

公开(公告)号：CN116561245A

公开(公告)日：2023-08-08

申请号：CN202310496282.8

申请日：2023-05-05

Applicant: 之江实验室

Inventor： 杨纲 ,  毛瑞琛 ,  黄君豪

IPC: G06F16/31 ,  G06F16/33 ,  G06F16/36 ,  G06F40/289 ,  G06F40/30

Abstract: 本发明公开了一种手语未登录手语词目映射方法和系统，包括以下步骤：基于HNSW算法构建已录入手语词目的索引信息；基于已录入手语词目的索引信息构建高频未登录手语词目至已录入手语词目的映射表；基于规则建立特殊样式未登录手语词目到已录入手语词目的匹配机制；基于映射表、匹配机制以及索引信息实现待测未登录手语词目的映射。该方法和系统能够实现对未登录词到已录入手语词目的映射，从而使手语词目序列尽可能多得被听障人士所理解。