-
公开(公告)号：CN119721258A
公开(公告)日：2025-03-28
申请号：CN202510206425.6
申请日：2025-02-25
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 中国科学院计算技术研究所
IPC: G06N5/04 , G06N3/0475 , G06N3/094 , G06N3/045
Abstract: 本发明提供一种语音大模型的自适应层次表征对齐训练方法及装置，涉及自然语言处理技术领域；该方法包括：基于内部语音适应器，根据候选语音大模型，使用源语音以及文本提示词进行模型训练，获得第一语音大模型；基于跨模态语义检索任务，根据源语音以及源语音转录文本，对第一语音大模型的进行语义检索能力筛选，获得最优神经网络层级；基于最优神经网络层级，根据源语音、文本提示词和源语音转录文本，通过第一语音大模型进行预测，并计算模型预测损失；根据模型预测损失，对第一语音大模型进行参数优化，获得第二语音大模型；本发明是一种充分利用源语音和转录文本的映射关系的高效且准确的自适应层次表征对齐训练方法。
-
公开(公告)号：CN117808095B
公开(公告)日：2024-05-28
申请号：CN202410206258.0
申请日：2024-02-26
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/025 , G06N5/04 , G06F40/289 , G06F40/247
Abstract: 本发明公开了一种对抗攻击样本生成方法和装置、电子设备，属于人工智能安全技术领域，所述方法包括：对第一大语言模型进行全量微调，得到第二模型；使用BERT‑Attack算法对所述第二模型进行攻击实验，得到原始攻击样本；使用原始攻击样本对第二模型进行知识蒸馏处理，得到第三模型；使用攻击算法和原始攻击样本，对第三模型进行文本对抗攻击，得到迁移攻击样本；确定原始攻击样本与迁移攻击样本的可迁移性；依据可迁移性、原始攻击样本和迁移攻击样本，进行攻击算法自适应性改进。本发明提供的对抗攻击样本生成方案，能够增加所生成的对抗攻击样本在不同环境和模型下的可迁移性，提高攻击的鲁棒性和可靠性。
-
公开(公告)号：CN117094329B
公开(公告)日：2024-02-02
申请号：CN202311326597.4
申请日：2023-10-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F40/44 , G06F40/242 , G06F40/30 , G06F40/211 , G10L15/26 , G10L15/18
Abstract: 本发明公开了一种用于解决语音歧义的语音翻译方法及装置，涉及语音翻译技术领域。包括：获取待翻译的语音数据；构建同音异义词词典；将语音数据输入到构建好的语音翻译模型；根据语音数据、同音异义词词典以及语音翻译模型，得到语音数据的翻译文本。本发明构建了一种高效的语音消歧的方法，能够有效地缓解语音翻译模型中的歧义现象，提高语音翻译的准确度。
-
公开(公告)号：CN117422075A
公开(公告)日：2024-01-19
申请号：CN202311448715.9
申请日：2023-11-01
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F40/58 , G06F40/289 , G06F16/332 , G06F16/33
Abstract: 本发明提供一种基于单词删除的同声传译方法及系统，涉及自然语言处理技术领域，包括：获取源语言文字序列和目标语言文字序列；对源语言文字序列和目标语言文字序列进行数据预处理；构建翻译模型，对翻译模型进行初始化；基于预处理后的数据对翻译模型进行单词随机删除训练，获得训练好的翻译模型；将源语言文字序列输入至训练好的翻译模型，输出翻译结果。本发明通过采用随机删除目标语言单词的技术手段,强迫模型减少对完整目标语言的依赖,迫使其关注源语言端的信息,增强模型对不完整源语言序列的建模能力。通过针对性的单词随机删除技术方案，可以有效解决文本同传中产生的翻译幻觉问题。
-
公开(公告)号：CN118395999B
公开(公告)日：2024-09-10
申请号：CN202410841712.X
申请日：2024-06-27
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F40/58 , G06F40/56 , G06N3/0455 , G06N3/084
Abstract: 本发明提供一种同声传译模型训练方法、装置、设备及存储介质，涉及人工智能技术领域，方法包括：将源语言文字序列输入编码器，生成源语言文字序列的上下文表示；解码器结合历史生成的目标语言文字序列和源语言文字序列的上下文表示，通过掩码多头注意力机制进行推理，生成候选目标语言文字序列；基于翻译质量评估指标，将每个候选目标语言文字序列与源语言文字序列进行比较，确定每个候选目标语言文字序列的质量得分；将质量得分确定为目标函数的风险；采用梯度下降优化算法，最小化目标函数，根据目标函数通过反向传播算法对编码器和解码器进行迭代更新，生成同声传译模型。本发明可以训练出翻译的准确性和流畅性更高的同声传译模型。
-
Patent Agency Ranking
公开(公告)号：CN117094329A
公开(公告)日：2023-11-21
申请号：CN202311326597.4
申请日：2023-10-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F40/44 , G06F40/242 , G06F40/30 , G06F40/211 , G10L15/26 , G10L15/18
Abstract: 本发明公开了一种用于解决语音歧义的语音翻译方法及装置，涉及语音翻译技术领域。包括：获取待翻译的语音数据；构建同音异义词词典；将语音数据输入到构建好的语音翻译模型；根据语音数据、同音异义词词典以及语音翻译模型，得到语音数据的翻译文本。本发明构建了一种高效的语音消歧的方法，能够有效地缓解语音翻译模型中的歧义现象，提高语音翻译的准确度。
-
公开(公告)号：CN117058951A
公开(公告)日：2023-11-14
申请号：CN202311318445.X
申请日：2023-10-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G09B21/00
Abstract: 本发明公开了一种多模态翻译模型的训练方法及装置，涉及人工智能技术领域。包括：获取待生成手语视频的手语文本、和/或待生成手语文本的手语视频；将手语文本和/或手语视频输入到训练好的手语翻译模型；其中，手语翻译模型的训练采用无监督的训练方法；根据手语文本以及手语翻译模型，得到手语文本对应的手语视频，和/或，根据手语视频以及手语翻译模型，得到手语视频对应的手语文本。本发明在模型的训练过程中，采用无监督的训练方法，不需要对模型的训练数据进行人工标签标注，使用无标注数据可以实现手语视频生成任务的训练，并达到生成手语视频生成的效果，节省了人力物力，从而节省了手语翻译模型的训练成本。
-
公开(公告)号：CN119415674A
公开(公告)日：2025-02-11
申请号：CN202510025829.5
申请日：2025-01-08
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/334 , G06F16/78 , G06F16/58 , G06N5/022
Abstract: 本发明公开一种基于大语言模型的古诗词到视频的生成方法及装置，涉及视频生成技术领域。方法包括：构建古诗词知识库；根据大语言模型采用Soft Prompt训练方法，得到训练好的故事学习向量；根据待生成古诗词数据、对应的文本知识、训练好的故事学习向量以及大语言模型，得到待生成古诗词数据对应的故事；根据待生成古诗词数据对应的故事、预设的提示词以及大语言模型，得到待生成古诗词数据对应的剧本；根据剧本、图片知识以及图片生成模型，生成待生成古诗词数据对应的故事图片；根据故事图片以及视频生成模型，生成待生成古诗词数据对应的视频。采用本发明，可以解决古诗词视频数据集匮乏的问题，提升了古诗词视频的生成质量。
-
公开(公告)号：CN119415674B
公开(公告)日：2025-04-04
申请号：CN202510025829.5
申请日：2025-01-08
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/334 , G06F16/78 , G06F16/58 , G06N5/022
Abstract: 本发明公开一种基于大语言模型的古诗词到视频的生成方法及装置，涉及视频生成技术领域。方法包括：构建古诗词知识库；根据大语言模型采用Soft Prompt训练方法，得到训练好的故事学习向量；根据待生成古诗词数据、对应的文本知识、训练好的故事学习向量以及大语言模型，得到待生成古诗词数据对应的故事；根据待生成古诗词数据对应的故事、预设的提示词以及大语言模型，得到待生成古诗词数据对应的剧本；根据剧本、图片知识以及图片生成模型，生成待生成古诗词数据对应的故事图片；根据故事图片以及视频生成模型，生成待生成古诗词数据对应的视频。采用本发明，可以解决古诗词视频数据集匮乏的问题，提升了古诗词视频的生成质量。
-
公开(公告)号：CN118395999A
公开(公告)日：2024-07-26
申请号：CN202410841712.X
申请日：2024-06-27
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F40/58 , G06F40/56 , G06N3/0455 , G06N3/084
Abstract: 本发明提供一种同声传译模型训练方法、装置、设备及存储介质，涉及人工智能技术领域，方法包括：将源语言文字序列输入编码器，生成源语言文字序列的上下文表示；解码器结合历史生成的目标语言文字序列和源语言文字序列的上下文表示，通过掩码多头注意力机制进行推理，生成候选目标语言文字序列；基于翻译质量评估指标，将每个候选目标语言文字序列与源语言文字序列进行比较，确定每个候选目标语言文字序列的质量得分；将质量得分确定为目标函数的风险；采用梯度下降优化算法，最小化目标函数，根据目标函数通过反向传播算法对编码器和解码器进行迭代更新，生成同声传译模型。本发明可以训练出翻译的准确性和流畅性更高的同声传译模型。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.039 seconds)
