公开(公告)号：CN118397641A

公开(公告)日：2024-07-26

申请号：CN202410416736.0

申请日：2024-04-08

Applicant: 中国科学院自动化研究所

Inventor： 梁雨普 ,  张亚萍 ,  赵阳 ,  向露 ,  宗成庆 ,  周玉

IPC: G06V30/28 ,  G06V30/19 ,  G06N3/0455 ,  G06N3/08 ,  G06F40/40

Abstract: 本发明提供一种端到端文档图像翻译方法及装置，该方法包括：对文档图像进行光学字符识别编码，得到图像编码特征，对文档图像进行版面感知编码，得到版面编码特征；根据门控机制对图像编码特征和版面编码特征进行特征加权融合，得到融合特征表示；对融合特征表示进行解码，得到翻译文本。本发明所述方法通过图像编码特征和版面编码特征的融合特征实现文档图像的翻译，提高了文档图片的翻译准确率。

公开(公告)号：CN117973337A

公开(公告)日：2024-05-03

申请号：CN202410102694.3

申请日：2024-01-24

Applicant: 中国科学院自动化研究所

Inventor： 张亚萍 ,  庞刘成 ,  赵阳 ,  周玉 ,  宗成庆

IPC: G06F40/18 ,  G06V30/413 ,  G06V30/414

Abstract: 本发明提供一种表格重建方法、装置、电子设备及存储介质，应用于图像处理技术领域。该方法包括：获取表格图像；提取所述表格图像的图像特征，并根据所述图像特征确定所述表格图像的单元格类别、单元格坐标以及单元格像素掩码；根据所述单元格坐标和所述单元格像素掩码进行网格线重建得到第一表格，根据所述单元格类别对所述第一表格进行单元格合并得到第二表格；其中，所述单元格类别包括空白单元格、基础单元格以及合并单元格。

公开(公告)号：CN117253239A

公开(公告)日：2023-12-19

申请号：CN202311189129.7

申请日：2023-09-14

Applicant: 中国科学院自动化研究所

Inventor： 张志扬 ,  张亚萍 ,  向露 ,  周玉 ,  宗成庆

IPC: G06V30/244 ,  G06V30/246 ,  G06V30/41 ,  G06V30/413 ,  G06F40/40 ,  G06F40/211

Abstract: 本发明提供一种融合版面信息的端到端文档图像翻译方法及装置，该方法包括：获取待翻译文档图像的字符识别结果，所述字符识别结果包括所述待翻译文档图像中的多个单词以及每个单词的二维坐标信息，所述二维坐标信息基于所述待翻译文档图像的像素值确定；基于所述每个单词对应的文本、所述每个单词的二维坐标信息以及所述每个单词的一维位置信息，得到第一特征向量，所述一维位置信息用于指示所述单词在单词序列中的位置，所述单词序列用于指示从所述待翻译文档图像中识别出来的所有单词组成的一维序列；对所述第一特征向量解码，得到所述待翻译文档图像对应的译文文本。本发明提供的融合版面信息的端到端文档图像翻译方法，有效提升文档翻译效果。

公开(公告)号：CN116882423B

公开(公告)日：2023-11-17

申请号：CN202311143071.2

申请日：2023-09-06

Applicant: 中国科学院自动化研究所

Inventor： 亢晓勉 ,  向露 ,  张亚萍 ,  周玉 ,  宗成庆

IPC: G06F40/58 ,  G06F40/44 ,  G06F40/205

Abstract: 本发明提供一种文本翻译方法、装置、电子设备及存储介质，应用于机器翻译技术领域，该方法包括：获取待翻译文本的第一文本序列，所述第一文本序列包括至少两个相邻语句和每两个相邻语句之间的句间关系分隔符；确定所述第一文本序列中每个词段的向量，得到第一向量序列；确定所述至少两个相邻语句的句间关系向量，并将所述第一向量序列中句间关系分隔符的向量更新为所述句间关系向量，得到第二向量序列；基于所述第二向量序列确定所述待翻译文本的译文文本；其中，所述句间关系向量用于表示所述至少两个相邻语句的关联关系。

公开(公告)号：CN116805004B

公开(公告)日：2023-11-14

申请号：CN202311058414.5

申请日：2023-08-22

Applicant: 中国科学院自动化研究所

Inventor： 向露 ,  刘宇宸 ,  张亚萍 ,  周玉 ,  宗成庆

IPC: G06F16/332 ,  G06N3/042 ,  G06N3/045 ,  G06N3/096 ,  G06F40/40

Abstract: 本发明涉及自然语言处理技术领域，提供一种零资源跨语言对话模型训练方法、装置、设备和介质，所述方法包括：基于初始样本源语言对话数据，构建扩充样本源语言对话数据、第一跨语言对话数据、第二跨语言对话数据、双语平行数据以及样本目标语言对话数据；基于扩充样本源语言对话数据、第一跨语言对话数据以及第二跨语言对话数据中的至少一种，和双语平行数据，训练得到教师模型；将样本目标语言对话数据的对话输入数据输入至教师模型，得到蒸馏对话回复数据；基于样本目标语言对话数据的对话输入数据以及蒸馏对话回复数据进行蒸馏训练，得到零资源跨语言对话模型。本发明快速且低成本为零资源目标语言构建零资源跨语言对话模型。

公开(公告)号：CN116882423A

公开(公告)日：2023-10-13

申请号：CN202311143071.2

申请日：2023-09-06

Applicant: 中国科学院自动化研究所

Inventor： 亢晓勉 ,  向露 ,  张亚萍 ,  周玉 ,  宗成庆

IPC: G06F40/58 ,  G06F40/44 ,  G06F40/205

Abstract: 本发明提供一种文本翻译方法、装置、电子设备及存储介质，应用于机器翻译技术领域，该方法包括：获取待翻译文本的第一文本序列，所述第一文本序列包括至少两个相邻语句和每两个相邻语句之间的句间关系分隔符；确定所述第一文本序列中每个词段的向量，得到第一向量序列；确定所述至少两个相邻语句的句间关系向量，并将所述第一向量序列中句间关系分隔符的向量更新为所述句间关系向量，得到第二向量序列；基于所述第二向量序列确定所述待翻译文本的译文文本；其中，所述句间关系向量用于表示所述至少两个相邻语句的关联关系。

公开(公告)号：CN111291139B

公开(公告)日：2023-08-22

申请号：CN202010189960.2

申请日：2020-03-17

Applicant: 中国科学院自动化研究所

Inventor： 周玉 ,  孙建 ,  宗成庆

IPC: G06F16/36 ,  G06F16/28 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明属于知识图谱领域，具体涉及一种基于注意力机制的知识图谱长尾关系补全方法、系统、装置，旨在解决传统的关系补全模型因长尾关系数目稀少导致对长尾关系预测产生过拟合的问题。本系统方法：获取待补全的知识图谱，并根据其实体之间的关系类型将其构建为第一知识图谱和第二知识图谱；获取第一知识图谱中融合邻域信息的实体向量表示，作为第一表示；根据第一表示对第二知识图谱中各实体进行向量化表示，并构建支撑集和查询集；通过预设的多种网络类型的长尾关系预测方法获取查询集中各实体对的关系类型标签，并补全各实体之间的关系。本发明通过对知识图谱中各实体的邻域信息进行融合，避免了长尾关系预测时过拟合的问题。

公开(公告)号：CN109213851B

公开(公告)日：2021-05-25

申请号：CN201810724523.9

申请日：2018-07-04

Applicant: 中国科学院自动化研究所 ,  出门问问信息科技有限公司

Inventor： 周玉 ,  白赫 ,  张家俊 ,  宗成庆 ,  赵亮

IPC: G06F16/332 ,  G06F40/58 ,  G06F40/30

Abstract: 本发明涉及语言处理领域，并提出了一种对话系统中口语理解的跨语言迁移方法，旨在解决在对话系统中口语理解的跨语言迁移中，因语义标签难以迁移和语言文化差异造成迁移结果质量不佳的技术问题。为此目的，本发明中的口语的跨语言迁移方法包括：获取待迁移的有标注口语理解数据；利用预先构建的口语理解迁移模型对所述带类别标记的待迁移数据进行迁移，得到带类别标记的第一迁移结果；对第一迁移结果进行文化迁移，得到目标语言的口语理解数据。基于上述步骤，本发明可以快速、准确的对口语理解数据进行跨语言迁移，改善了因为双语带类别标记数据不足而导致的有监督训练方法效果不佳的问题，降低了在模型训练中的数据收集和标注成本。

公开(公告)号：CN112131372A

公开(公告)日：2020-12-25

申请号：CN202011337142.9

申请日：2020-11-25

Applicant: 中国科学院自动化研究所

Inventor： 周玉 ,  李梅 ,  向露 ,  宗成庆

IPC: G06F16/332 ,  G06F40/295 ,  G16H80/00 ,  G06N3/08

Abstract: 本发明属于人机对话领域，具体涉及一种基于知识驱动的对话策略网络优化方法、系统、装置，旨在解决医疗领域现有对话系统优化过程中训练数据利用率低的问题。本发明方法应用于对话系统的训练，包括：基于选定领域对话样本的输入特征，利用基于编码器的协同过滤的方法，对自编码器进行优化；所述自编码器中的编码器用于将输入特征映射到低维空间；基于包含额外奖励值的损失函数，对对话策略网络进行优化；所述额外奖励值与行为动作空间中状态‑动作对出现的频率呈反比例关系。本发明可在有限的训练数据的情况下充分地探索状态动作空间，提高数据利用率。

公开(公告)号：CN111401079A

公开(公告)日：2020-07-10

申请号：CN201811535879.4

申请日：2018-12-14

Applicant: 波音公司 ,  中国科学院自动化研究所

Inventor： 周龙 ,  周玉 ,  杨里

IPC: G06F40/56 ,  G06F40/58 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开了一种神经网络机器翻译模型的训练方法、装置及存储介质。该方法包括：分别对第一句子的头部和第二句子的头部添加标签，其中，第一句子和第二句子构成双语句子对，标签将第一句子和第二句子标识为以下四个方向中的一个方向：源端-目标端、目标端-源端、从左到右、从右到左；使用第一句子和第二句子构成四个方向上的训练模型；采用多任务训练方法，利用四个方向上的训练模型，对神经网络机器翻译模型中的单一目标训练函数进行训练。通过在四个方向上训练神经网络机器翻译模型，可以在减少模型参数的同时实现多个方向上的翻译任务。