-
公开(公告)号:CN117035074A
公开(公告)日:2023-11-10
申请号:CN202311286288.9
申请日:2023-10-08
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开了一种基于反馈强化的多模态知识生成方法及装置,包括:构建多模态模型,在多模态知识生成任务中将人类反馈引入所述多模态模型,形成的监督数据用于训练预先设立的奖励回报模型;将所述监督数据输入奖励回报模型进行训练,使得奖励回报模型从所述监督数据中学习到人类的理解;利用内外探索相结合的强化学习方法微调所述多模态模型,使得多模态模型能够学习到人类偏好,生成更自然的知识;本发明具有人类反馈知识的强化学习方法应用于多模态知识生成任务中,解决了多模态知识生成任务缺乏人类反馈监督的不足,并引入基于内外探索相结合的强化学习微调技术,有效缓解多奖励稀疏问题。
-
公开(公告)号:CN116246698A
公开(公告)日:2023-06-09
申请号:CN202211090606.X
申请日:2022-09-07
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G16B20/00 , G16B40/00 , G06F40/30 , G06N3/0464
Abstract: 本发明公开了一种基于神经网络的信息提取方法、装置、设备及存储介质,属于生物信息技术领域,该方法包括:本发明从预先获得的metapath实例中提取语义信息;基于注意力聚合机制对所述语义信息进行编码,获得语义注意力系数,基于所述语义注意力系数聚合邻居节点;通过非线性神经网络对所述语义信息进行学习,获得二次语义信息,将二次语义信息聚合至所述邻居节点中,获得节点嵌入;通过非线性神经网络融合多个metapath下的所述节点嵌入,获得最终节点表示。如此通过非线性神经网络二次提取metapath实例中的语义信息,充分利用了各个节点的语义信息,提升了信息提取的效果。
-
公开(公告)号:CN115577273A
公开(公告)日:2023-01-06
申请号:CN202210970095.4
申请日:2022-08-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本申请公开了一种基于对比学习的单细胞数据聚类方法、装置、设备及存储介质,该方法包括:通过预先构建的特征提取模块确定待聚类单细胞数据的正视图对并提取所述正视图对的特征;通过预先构建的对比学习模型将所述特征进行对比学习,获得所述待聚类单细胞数据的高阶表示,并对所述高阶表示进行聚类分析以获得所述待聚类单细胞数据的聚类分析结果。如此,通过特征提取、对比学习获得了待聚类单细胞数据的高阶表示,解决了当前单细胞测序数据高维稀疏、种群间不平衡以及测序过程经常发生drop‑out事件的问题。
-
公开(公告)号:CN114553394B
公开(公告)日:2022-08-16
申请号:CN202210424254.0
申请日:2022-04-22
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 暨南大学
Abstract: 本发明公开了基于多密钥全同态方案的补码运算器及运算方法,运算器包括多密钥全同态加法运算器、多密钥全同态减法运算器、多密钥全同态乘法运算器和多密钥全同态除法运算器;所述多密钥全同态加法器由多密钥全同态0‑类加法器构成;所述多密钥全同态减法器由多密钥全同态0‑类加法器与多密钥全同态取非器构成;所述多密钥全同态乘法器由多密钥全同态0‑类加法器、多密钥全同态1‑类加法器、多密钥全同态2‑类加法器和多密钥全同态与门构成;所述多密钥全同态除法器由多密钥全同态取补器、多密钥全同态CAS单元与多密钥全同态异或门构成。本发明构造了任意位的补码整数四则运算器,能够支持任意位的正负整数之间的四则运算,大大提高了MKTFHE方案的实用性。
-
公开(公告)号:CN114418098A
公开(公告)日:2022-04-29
申请号:CN202210255131.9
申请日:2022-03-16
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明提供一种神经网络差量压缩方法、装置、电子设备及存储介质,该方法在获取到神经网络的两个相邻训练版本时,可为这些版本所包含的各网络层生成专用的量化参数,并利用这些量化参数为对应的网络层进行浮点参数量化处理,得到训练版本对应的整数版本,再利用这些整数版本替代训练版本进行差量数据计算及差量压缩。换而言之,本发明为神经网络模型的每一网络层设置了生成的专用的量化参数,可采用不同力度对每一网络层进行针对性量化,相较于全局量化策略额外考虑了神经网络模型不同网络层之间的参数取值差异,能够有效避免将整个网络的浮点数参数看作一个集合来确定全局的量化参数所导致的量化误差增大及模型的精度下降问题。
-
公开(公告)号:CN112819052A
公开(公告)日:2021-05-18
申请号:CN202110094267.1
申请日:2021-01-25
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明涉及机器视觉技术领域,公开了一种多模态细粒度混合方法、系统、设备和存储介质,所述多模态细粒度混合方法包括:从多模态图文数据中提取数据特征,并获取数据特征的各个组成成分;数据特征包括视觉区域特征和文本单词特征;对数据特征的各个组成成分的模态信息进行细粒度分类,得到分类结果;根据分类结果,对各个组成成分进行来自模态内和模态间的信息融合,得到融合特征。本发明实施例提供的多模态细粒度混合方法在多模态细粒度混合时不以模态为单位进行,考虑到了各模态中不同组成成分的特点,所处上下文环境的差异,选择对应的合适的交互方式,可以使得多模态模型在利用多模态数据互补的特点的同时,避免不相关信息的影响。
-
公开(公告)号:CN116503642A
公开(公告)日:2023-07-28
申请号:CN202310269638.4
申请日:2023-03-15
Applicant: 哈尔滨工业大学(深圳)
IPC: G06V10/764 , G06V10/42 , G06V10/82 , G06N3/098 , G06N20/20
Abstract: 本发明公开了一种基于改进联邦学习的数据分类方法、系统及相关设备,方法包括:目标客户端根据预设的改进联邦学习算法对其对应的待训练的数据分类模型进行模型迭代训练,获得对应的已训练的数据分类模型,目标客户端根据预设的改进联邦学习算法进行一轮迭代时,基于全局特征提取器模型参数、全局分类器模型参数和本地分类器模型参数对待训练的数据分类模型的模型参数进行调整,全局特征提取器模型参数和全局分类器模型参数由目标客户端从服务器获取,本地分类器模型参数由目标客户端从本地存储的数据获取;目标客户端获取待分类数据,通过对应的已训练的数据分类模型进行分类获取待分类数据对应的目标类别。本发明有利于提高数据分类的准确性。
-
公开(公告)号:CN108447080B
公开(公告)日:2023-05-23
申请号:CN201810175534.6
申请日:2018-03-02
Applicant: 哈尔滨工业大学深圳研究生院
IPC: G06T7/277 , G06N3/0464
Abstract: 本发明公开了一种基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质,其方法包括:获取跟踪目标的当前视频帧的检测响应以及当前视频帧之前的所有视频帧的跟踪片段;为每一条跟踪片段计算其置信度,其中,跟踪片段置信度是指当前已经完成部分连接的跟踪片段的可信赖程度;根据置信度的大小,将所有的跟踪片段分为高可靠度跟踪片段和低可靠度跟踪片段两部分,并以当前视频帧的检测响应为关联对象,为高可靠度跟踪片段进行局部数据关联处理,为低可靠度跟踪片段进行全局数据关联处理。本发明可以有效降低关联算法的时间复杂度,能够有效缓解在跟踪的过程中出现的局部遮挡问题,同时可以实现算法的鲁棒性和实时性的均衡。
-
公开(公告)号:CN114897267A
公开(公告)日:2022-08-12
申请号:CN202210665590.4
申请日:2022-06-14
Applicant: 哈尔滨工业大学(深圳) , 中国电子科技集团公司第五十四研究所
Abstract: 本发明公开了面向多对多智能体协同作战场景的火力分配方法及系统,所述方法包括:确定红蓝对抗问题想定,所述红蓝对抗问题想定包括红蓝对抗单元的种类、数量、射击间隔及对抗问题、红蓝双方的目标任务和胜负判断准则;基于语义的想定建模,将所述红蓝对抗问题想定进行结构化抽象,并将博弈对抗问题的图像信息转化为语义信息;基于语义态势认知模块计算火力分配方案,并将所有我方单位指定打击对象;构建语义体系,基于向量化火力打击结果生成火力打击对象决策语义,并执行当前决策指令。本发明尽可能地将火力均匀分配到各个敌方上,使得每一个火力都最大化地得到利用。
-
公开(公告)号:CN108510559B
公开(公告)日:2022-03-08
申请号:CN201810288688.6
申请日:2018-03-30
Applicant: 哈尔滨工业大学深圳研究生院
IPC: G06T9/00
Abstract: 本发明涉及一种基于有监督多视角离散化的多媒体二值编码方法。该方法包括:S1.假设一个由n幅图像组成训练集,通过学习得到包含一系列子函数的哈希函数,将样本的两种不同模态的特征映射到经过优化的特征空间中,得到的一系列与哈希子函数对应的哈希值,然后通过二值量化将哈希值转化为二值化哈希码:S2.基于有监督训练的哈希函数:定义一个线性多分类模型并对模型函数进行优化,采用最小平方损失作为目标函数;S3.基于最小量化损失的哈希函数:假设一种模态的特征,通过哈希函数优化至量化损失最小;S4.基于多视角锚图的哈希函数:构造锚图,并采用锚图正则化哈希函数;S5.优化算法。本发明既可以保持数据在原始空间相似性,又能提高检索的准确率。
-
-
-
-
-
-
-
-
-