-
公开(公告)号:CN114973421B
公开(公告)日:2025-03-21
申请号:CN202210735629.5
申请日:2022-06-27
Applicant: 浙江大学 , 杭州一知智能科技有限公司
IPC: G06V40/20 , G06N3/0464 , G06N3/08 , G06V10/774 , G06V10/82
Abstract: 本发明公开了一种基于对偶变换的半监督手语生成方法、系统和存储介质,属于手语生成领域,包括以下步骤:1、使用完整训练数据集对多任务模型G2P和多模态模型T2G进行监督预训练;2、基于模型G2P和模型T2G任务的对偶性,使用缺少标注数据的训练数据集对多任务模型G2P和多模态模型T2G进行对偶变换训练,设计多模态平衡损失来平衡预测结果更依赖于一种模态数据的倾向性;3、对模型T2G进行知识蒸馏,将模型T2G中的多模态知识迁移至学生模型t2g中。本发明首次针对半监督手语生成任务提出了一种对偶变换的方法,相比于目前最先进的方法实现了实质性的进步。
-
公开(公告)号:CN116108175A
公开(公告)日:2023-05-12
申请号:CN202211704106.0
申请日:2022-12-29
Applicant: 国网浙江省电力有限公司营销服务中心 , 浙江大学
IPC: G06F16/35 , G06F40/205 , G06F40/35 , G06F16/332 , G06F16/242
Abstract: 本发明公开了一种基于语义解析和数据构造的语言转化方法及系统。本发明采用的技术方案包括:选表任务:将选表任务转化为一个文本分类模型,预测文本对应数据库中的表;选列任务:将选列任务转化为一个序列标注模型,预测文本对应数据库中的列;SQL生成任务:将SQL生成任务转化为一个文本生成任务,并保存最优的文本生成模型,生成SQL查询语句;预测:利用上述训练好的三个模型,构建pipeline结构;接收用户输入的文本数据,依次经过上述训练好的三个模型,生成对应标准的SQL查询语句。本发明采用Pipeline形式的text2sql技术,在每个模型训练前都会加入额外的相关信息提高模型的准确率,通过优化各个模型来实现优化,更加地方便有效。
-
公开(公告)号:CN110378269A
公开(公告)日:2019-10-25
申请号:CN201910621444.X
申请日:2019-07-10
Applicant: 浙江大学
Abstract: 本发明公开了一种通过影像查询定位视频中未预习的活动的方法。该方法通过相对位置编码设计了一种新颖的区域自注意力方法来学习细粒度图像的区域表示,从而可以消除在影像查询中语义上不必要内容的影响;使用了一种多层堆叠的转换器编码器,建立了影像与视频内容的多步融合与推理,从而处理了不精确的影像查询的模糊定位;使用了一个顺序敏感定位器去直接检索时间的边界,从而可以精确确定目标片段的边界;相比于一般的动作定位方法,本方法突破了预定义动作的限制,并且可通过影像查询定位到视频中未经预习的活动。本发明在对未修饰视频进行动作定位中所取得的效果相比于传统方法更好。
-
公开(公告)号:CN112860945A
公开(公告)日:2021-05-28
申请号:CN202110017595.1
申请日:2021-01-07
Applicant: 国网浙江省电力有限公司 , 国网浙江省电力有限公司营销服务中心 , 浙江大学 , 杭州一知智能科技有限公司
IPC: G06F16/783 , G06K9/62 , G06N3/08
Abstract: 本发明属于视频问答领域,具体涉及利用帧‑字幕自监督进行多模态视频问答的方法。包括以下步骤:提取视频帧特征、问答特征、字幕特征、字幕建议特征;得到带注意力帧特征、带注意力字幕特征,得到融合特征;基于融合特征计算得到时间注意力得分;利用时间注意力得分计算得到问题的时间边界;利用融合特征与时间注意力得分计算得到问题答案;利用问题的时间边界和问题答案训练神经网络;优化神经网络的网络参数,利用最优神经网络进行视频问答并划定时间边界。本发明没有使用标注代价昂贵的时间标注,而是根据自行设计的时间注意分数生成问题相关的时间边界。另外本发明通过挖掘字幕与对应视频内容之间的联系,得到更为精准的答案。
-
公开(公告)号:CN112767921A
公开(公告)日:2021-05-07
申请号:CN202110018749.9
申请日:2021-01-07
Applicant: 国网浙江省电力有限公司 , 国网浙江省电力有限公司营销服务中心 , 浙江大学 , 杭州一知智能科技有限公司
Abstract: 本发明属于语音识别领域,具体涉及一种基于缓存语言模型的语音识别自适应方法和系统,包括:针对一段连续的长语音分割得到多条短语音,并按照时间顺序构成任务队列;通过动态语言模型获得识别文本;根据每一条短语音的识别文本,实时判断是否需要进行概率修正,若是,则根据预设关联词表进行关键词搜索,得到关键词组,计算局部词汇概率分布,构建局部语言模型;将局部语言模型与动态语言模型进行插值合并,得到更新后的动态语言模型。本发明根据预设关联词表进行关键词搜索,得到关键词组,计算局部词汇概率分布,构建局部语言模型,将局部语言模型与动态语言模型进行插值合并,得到更新后的动态语言模型,进而提高识别准确率。
-
公开(公告)号:CN117524232A
公开(公告)日:2024-02-06
申请号:CN202311482660.3
申请日:2023-11-08
Applicant: 国网浙江省电力有限公司营销服务中心 , 浙江大学
IPC: G10L17/04 , G10L17/06 , G10L17/18 , G10L17/02 , G06F16/61 , G06F16/65 , G06F16/683 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于检索模式的声纹识别方法和系统。本发明的声纹识别方法包括:输入待识别的声纹音频;将待识别的声纹音频通过声纹识别模型转化为特征向量表示;将上述待识别声纹音频的特征向量表示,与声纹数据库中的向量进行比较,利用faiss的IVF索引算法在声纹数据库中快速定位到候选向量的集合;将待识别的声纹音频的特征向量表示与候选向量集合中的向量表示进行精确相似度计算,挑选出相似度最高的向量;返回相似度最高的向量所对应的人名,作为最终声纹识别的结果。本发明利用音频和文本两个模态对声纹识别进行训练,提升声纹识别的准确率;并使用faiss检索,快速减少相似性搜索的候选项数量,从而提高搜索效率。
-
公开(公告)号:CN117370378A
公开(公告)日:2024-01-09
申请号:CN202311195858.3
申请日:2023-09-15
Applicant: 国网浙江省电力有限公司营销服务中心 , 浙江大学
IPC: G06F16/2452 , G06F16/242 , G06F16/28 , G06F40/30 , G06N3/0455 , G06N3/084
Abstract: 本发明公开了一种自然语言转化为数据库语句的方法,涉及自然语言处理技术领域,用于解决现有模型准确率低的问题,该方法包括以下步骤:根据数据库表结构信息,生成问答对的提示学习模板,并生成对应的问题及查询语句;根据所述问题及查询语句构建指令微调训练集;根据所述指令微调训练集,进行生成式大模型指令微调,得到自然语言转化为数据库语句的模型;接收需要查询问题的文本,并输入所述模型,输出查询语句。本发明还公开了一种自然语言转化为数据库语句的装置、电子设备和计算机存储介质。本发明通过训练数据进行处理并进行模型微调,进而获取准确度高的转换模型。
-
公开(公告)号:CN116631375A
公开(公告)日:2023-08-22
申请号:CN202310733281.0
申请日:2023-06-20
Applicant: 浙江大学
Abstract: 本发明公开了一种基于自监督语音表征的方言分类方法,属于语音识别领域。获取不同方言的音频样本,提取原始波形序列;使用预训练模型进一步提取语音表征序列并降采样,得到帧级别输入序列;使用Transformer编码器对帧级别输入序列进行编码;使用注意力聚合方法将编码结果进行池化统计,得到句子级别编码序列;对句子级别编码序列线性投影,得到样本预测概率;训练Transformer编码器、以及注意力聚合方法和线性投影中的可训练参数,基于训练后的参数预测音频中的方言类型。本发明使用自监督语音表征作为输入特征并在Transformer中引入基于内容的自注意力机制来提取音频的全局和局部信息,提高了分类准确率。
-
公开(公告)号:CN115758761A
公开(公告)日:2023-03-07
申请号:CN202211480861.5
申请日:2022-11-24
Applicant: 国网浙江省电力有限公司营销服务中心 , 浙江大学
IPC: G06F30/20 , G06F9/48 , G06N3/126 , G06F111/06 , G06F111/04
Abstract: 本发明公开了一种基于遗传算法的质检任务调度方法,涉及遗传算法技术领域,用于解决完成质检任务调度策略制定,该方法包括以下步骤:根据质检任务调度中检测试验串行、并行、互斥关系以及设备互斥关系的情境构建质检任务调度模型;通过领域搜索规则和启发式规则对所述任务调度模型进行解码,并结合模拟退火算法对所述任务调度模型进行求解;得到最优质检任务调度方案。本发明还公开了一种基于遗传算法的质检任务调度的电子设备和计算机存储介质。本发明通过质检任务调度中检测试验串行、并行、互斥关系以及设备互斥关系的情境构建质检任务调度模型,并进行模型求解,进而得到调度方案最优解。
-
公开(公告)号:CN114971187B
公开(公告)日:2025-03-14
申请号:CN202210442004.X
申请日:2022-04-25
Applicant: 浙江大学
IPC: G06Q10/0631 , G06Q10/0633 , G06Q10/101 , G06Q50/06
Abstract: 本发明公开了一种基于机器人流程自动化的供用电合同生成方法和系统,属于合同自动生成领域。本发明使用了融合统一规制与个性化信息的多种内容形式的合同文本生成方法,引入了任务保险机制、关键元素等待机制、重启与恢复机制来保证在合同自动生成流程遇到失败任务时能顺利进行。本发明能在国网应用场景下快速生成各种有效的业务合同,极大降低了人工操作,提高了办公效率。
-
-
-
-
-
-
-
-
-