-
公开(公告)号:CN117648429B
公开(公告)日:2024-04-30
申请号:CN202410121781.3
申请日:2024-01-30
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学
IPC: G06F16/332 , G06F16/33 , G06F40/30 , G06N5/04 , G06N3/0464 , G06N3/08
Abstract: 本发明属于问答模型技术领域,为解决现有生成答案的准确率低的问题,提供一种基于多模态自适应检索式增强大模型的问答方法及系统。其中,基于多模态自适应检索式增强大模型的问答方法包括接收待回答的问题;基于多模态自适应检索式增强大模型及多模态知识库,生成预测答案;多模态自适应检索式增强大模型包括检索器、检索排序器和生成器;检索器提取问题及多模态知识库中的每个知识对应的多模态融合特征,计算每个知识和问题的相似度,选取TOP‑K知识;根据问题及知识标签,利用检索排序器从TOP‑K知识中判定出与问题相关的知识,得到检索的相关知识;生成器生成预测答案,其能够大大提高了模态问答的检索和生成答案的准确率。
-
公开(公告)号:CN117593215B
公开(公告)日:2024-03-29
申请号:CN202410077241.X
申请日:2024-01-19
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明属于图像自监督预训练领域,为解决生成模型生成图像的准确性差的问题,提供一种生成模型增强的大规模视觉预训练方法及系统。其中,生成模型增强的大规模视觉预训练方法包括利用预训练的生成模型,自适应生成原始图像所对应的正视图;对原始图像和正视图进行数据增强,生成增强后的正样本对,使用预训练的图像编码器提取正样本对的特征表示;根据正样本对的特征表示,计算注意力掩码来分隔前景区域和背景区域;评估正样本对的质量来调整每个正样本对在训练生成模型过程中对整体损失的贡献,计算每个正样本对的重新加权因子,得到最终损失函数,以确定是否继续训练生成模型,其能够减轻低质量和错误图像对生成模型生成图像准确性的影响。
-
公开(公告)号:CN117611957A
公开(公告)日:2024-02-27
申请号:CN202410077239.2
申请日:2024-01-19
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学
IPC: G06V10/778 , G06V10/774 , G06V10/762 , G06V10/84
Abstract: 本发明属于计算机视觉中的图像聚类技术领域,为解决现有图像聚类模型聚类性能低的问题,提供一种基于统一正负伪标签的无监督视觉表征学习方法及系统。其中,基于统一正负伪标签的无监督视觉表征学习方法包括预训练分配正标签的深度聚类模型;利用预训练的深度聚类模型为所有图像样本分配正标签,并从中筛选出一组正标签置信度高于设定阈值的图像样本;其中,将筛选出的图像样本作为有标签的图像样本,剩余的图像样本作为无标签的图像样本;利用预训练的深度聚类模型及所有图像样本再进行半监督调整,利用半监督调整过程中的学习损失对预训练的深度聚类模型进行联合优化训练,其能够在预训练模型的基础上进一步提升聚类性能。
-
公开(公告)号:CN115311605A
公开(公告)日:2022-11-08
申请号:CN202211195726.6
申请日:2022-09-29
Applicant: 山东大学 , 哈尔滨工业大学(深圳) , 浙江猫精人工智能科技有限公司
IPC: G06V20/40 , G06V10/764 , G06V10/774 , G06V10/778 , G06V10/82 , G06N3/08
Abstract: 本发明属于计算机视觉视频分类领域,为了解决现有技术对视频中的运动信息挖掘不足,引入监督信号过少,模型训练效率低下以及学习到的特征判别性不足,这些均导致视频分类的准确率较低的问题,提供基于近邻一致性和对比学习的半监督视频分类方法及系统。其中基于近邻一致性和对比学习的半监督视频分类方法包括提取待分类视频样本的RGB帧图像;基于RGB帧图像及训练好的教师网络,得到所有视频分类的预测分布,将概率最大的类别作为分类结果;其基于教师‑学生网络对视频进行分类,能够在仅有少量标注数据的情况下提高视频分类的准确性。
-
公开(公告)号:CN115294407A
公开(公告)日:2022-11-04
申请号:CN202211206057.8
申请日:2022-09-30
Applicant: 山东大学 , 哈尔滨工业大学(深圳) , 浙江猫精人工智能科技有限公司
IPC: G06V10/764 , G06V10/778 , G06V10/82 , G06N3/08 , G06N5/02
Abstract: 本发明属于计算机视觉图像分类领域,为了解决识别图像类别的准确性差且不稳定的问题,提供基于预习机制知识蒸馏的模型压缩方法及系统。其中该方法包括获取图像样本并标注其标签,对学生网络进行监督训练;使得学生网络与预先训练好的教师网络进行输出对齐、特征对齐、类别中心对齐以及类别中心对比学习;计算图像样本的难度分数,动态分配不同图像样本的权重;基于监督训练、输出对齐、特征对齐、类别中心对齐及类别中心对比学习的损失函数及不同图像样本的权重,得到总损失函数;根据总损失函数来指导训练学生网络,得到训练完成的学生网络,以作为图像分类模型,用于对输入的图像进行类别分布预测。其提高了图像识别类别的准确性。
-
公开(公告)号:CN116089906B
公开(公告)日:2023-06-16
申请号:CN202310232058.8
申请日:2023-03-13
Applicant: 山东大学 , 哈尔滨工业大学(深圳) , 浙江猫精人工智能科技有限公司
IPC: G06F18/25 , G06F18/24 , G06F16/332 , G06F16/35
Abstract: 本发明涉及自然语言处理中的对话情感识别技术领域,提供了一种基于动态上下文表示和模态融合的多模态分类方法及系统,其解决了每个模态的特征未得到充分的分析,也没有根据其特性进行针对性地处理的问题。其中,基于动态上下文表示和模态融合的多模态分类方法将每个模态的特征分别进行全局上下文表征、局部上下文表征和直接映射表征,再根据动态路径选择方法融合上述表征,得到每个模态的初始融合特征;将所有模态的初始融合特征分别执行全融合、部分融合和带偏融合处理,得到全融合结果、部分融合结果和带偏融合结果,再通过动态路径选择方法融合,得到最终用于分类的多模态融合特征。其提高了最终识别任务类别的准确性。
-
公开(公告)号:CN116089906A
公开(公告)日:2023-05-09
申请号:CN202310232058.8
申请日:2023-03-13
Applicant: 山东大学 , 哈尔滨工业大学(深圳) , 浙江猫精人工智能科技有限公司
IPC: G06F18/25 , G06F18/24 , G06F16/332 , G06F16/35
Abstract: 本发明涉及自然语言处理中的对话情感识别技术领域,提供了一种基于动态上下文表示和模态融合的多模态分类方法及系统,其解决了每个模态的特征未得到充分的分析,也没有根据其特性进行针对性地处理的问题。其中,基于动态上下文表示和模态融合的多模态分类方法将每个模态的特征分别进行全局上下文表征、局部上下文表征和直接映射表征,再根据动态路径选择方法融合上述表征,得到每个模态的初始融合特征;将所有模态的初始融合特征分别执行全融合、部分融合和带偏融合处理,得到全融合结果、部分融合结果和带偏融合结果,再通过动态路径选择方法融合,得到最终用于分类的多模态融合特征。其提高了最终识别任务类别的准确性。
-
公开(公告)号:CN115311605B
公开(公告)日:2023-01-03
申请号:CN202211195726.6
申请日:2022-09-29
Applicant: 山东大学 , 哈尔滨工业大学(深圳) , 浙江猫精人工智能科技有限公司
IPC: G06V20/40 , G06V10/764 , G06V10/774 , G06V10/778 , G06V10/82 , G06N3/08
Abstract: 本发明属于计算机视觉视频分类领域,为了解决现有技术对视频中的运动信息挖掘不足,引入监督信号过少,模型训练效率低下以及学习到的特征判别性不足,这些均导致视频分类的准确率较低的问题,提供基于近邻一致性和对比学习的半监督视频分类方法及系统。其中基于近邻一致性和对比学习的半监督视频分类方法包括提取待分类视频样本的RGB帧图像;基于RGB帧图像及训练好的教师网络,得到所有视频分类的预测分布,将概率最大的类别作为分类结果;其基于教师‑学生网络对视频进行分类,能够在仅有少量标注数据的情况下提高视频分类的准确性。
-
公开(公告)号:CN115294407B
公开(公告)日:2023-01-03
申请号:CN202211206057.8
申请日:2022-09-30
Applicant: 山东大学 , 哈尔滨工业大学(深圳) , 浙江猫精人工智能科技有限公司
IPC: G06V10/764 , G06V10/778 , G06V10/82 , G06N3/08 , G06N5/02
Abstract: 本发明属于计算机视觉图像分类领域,为了解决识别图像类别的准确性差且不稳定的问题,提供基于预习机制知识蒸馏的模型压缩方法及系统。其中该方法包括获取图像样本并标注其标签,对学生网络进行监督训练;使得学生网络与预先训练好的教师网络进行输出对齐、特征对齐、类别中心对齐以及类别中心对比学习;计算图像样本的难度分数,动态分配不同图像样本的权重;基于监督训练、输出对齐、特征对齐、类别中心对齐及类别中心对比学习的损失函数及不同图像样本的权重,得到总损失函数;根据总损失函数来指导训练学生网络,得到训练完成的学生网络,以作为图像分类模型,用于对输入的图像进行类别分布预测。其提高了图像识别类别的准确性。
-
公开(公告)号:CN102168507A
公开(公告)日:2011-08-31
申请号:CN201110063204.6
申请日:2011-03-16
Applicant: 哈尔滨工业大学
Abstract: 一种弹簧钢珠式施封锁。一种施封锁,具体涉及一种弹簧钢珠式施封锁。本发明为了解决现有结构的施封锁存在结构复杂、耗材量大,导致施封锁制作成本高、生产效率低的问题。本发明包括锁体和锁紧绳,还包括弹簧、第一钢珠和第二钢珠,所述锁体的上端面上开有盲孔,所述锁紧绳的一端固定插装在盲孔内,所述锁体的上端面还开有通孔,所述盲孔与通孔的轴线平行,所述锁体的下端面开有斜孔,且斜孔与通孔连通,所述第一钢珠、弹簧、第二钢珠沿斜孔底端开口端依次安装在斜孔内,且第二钢珠与斜孔的开口端内侧壁固接,所述锁紧绳的另一端穿过通孔,锁紧绳与第一钢珠接触使弹簧处于压缩状态。本发明用于对铁路货箱、邮袋、电表箱等进行封闭。
-
-
-
-
-
-
-
-
-