-
公开(公告)号:CN116468096A
公开(公告)日:2023-07-21
申请号:CN202310362160.X
申请日:2023-03-30
IPC: G06N3/08 , G06F18/214 , G06F18/22 , G06Q30/0601
Abstract: 本说明书公开了一种模型训练方法、装置、设备及可读存储介质,基于共同发起业务的关系构建第一训练样本组,基于各用户针对各业务的指定行为构建第二训练样本组。根据各用户的言论文本、各业务、第一训练样本组和第二训练样本组训练特征提取模型,之后,根据训练完成的特征提取模型、所述第三训练样本和所述第三训练样本的标注,训练待训练的预测模型。可见,通过构建第一训练样本组和第二训练样本组,结合用户的言论文本以训练特征提取模型的方案,针对用户从未执行过的业务,也可以有效地从用户的言论文本中提取得到用于表征用户对于执行不同类型的业务的态度和立场的用户特征,从而提高预测准确率。
-
公开(公告)号:CN113868459A
公开(公告)日:2021-12-31
申请号:CN202110712040.9
申请日:2021-06-25
IPC: G06F16/58 , G06F16/33 , G06F40/211 , G06F40/289 , G06N3/04 , G06N3/08
Abstract: 本发明的目的是提供一种模型训练方法、跨模态表征方法、无监督图像文本匹配方法及装置,所述方法包括:计算训练文档中图片与句子的两两相似度值;基于所述相似度值,确定正样本对集和负样本对集;其中,所述正样本对集中有预设数量的正样本对;所述负样本对集中有预设数量的负样本对;所述正样本对集和所述负样本对集用于进一步训练所述模型,直至预设数量的所述正样本对的平均相似度值大于预设数量的所述负样本对的平均相似度值,且两者差值符合预设条件。上述实施方式可以减小采样的偏差,以更好的训练模型来对图片和句子进行匹配。
-
公开(公告)号:CN113537593B
公开(公告)日:2024-07-16
申请号:CN202110803621.3
申请日:2021-07-15
IPC: G06Q10/04 , G06Q50/26 , G06F40/284 , G06F40/289 , G06N3/045 , G06N3/042 , G06N3/0442 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种预测议员投票倾向的方法及其装置,其涉及政治投票技术领域,方法包括:根据议员的基本信息建立议员节点,根据议员在推特发布的言论信息建立言论节点;建立节点之间的关系;获取节点的初始化表示;基于关键词的言论网络的异质图卷积;基于话题标签的言论网络的异质图卷积;基于长短期记忆网络的议题的文本信息初始化;使用异质图卷积神经网络来更新议员和言论节点的表示,并通过三元组损失函数进行联合训练,学习异质图中的节点表示和议题表示,通过议员和议题之间的距离来衡量议员对议题的投票偏好,以预测议员对议题的投票倾向。本申请提高了点名趋势预测的性能,并且适用于没有投票记录的新加入议员的预测。
-
公开(公告)号:CN116451808B
公开(公告)日:2024-02-13
申请号:CN202310451948.8
申请日:2023-04-23
IPC: G06N20/00 , G06V10/40 , G06F40/226 , G06F40/194
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备,获取图文对和翻译文本对,将图文对中的描述文本和翻译文本对包含的两种语言文本输入到预设的视觉语言模型中的文本特征提取层中,以通过文本特征提取层得到描述文本和两种语言文本的文本特征,并将图文对中的图像输入到视觉语言模型中的图像特征提取层中,以通过图像特征提取层得到图像的图像特征。根据图文对中图像的图像特征与描述文本的文本特征,以及翻译文本对中包含的两种语言文本的文本特征,确定目标损失;根据目标损失,对视觉语言模型进行训练。
-
-
公开(公告)号:CN116451808A
公开(公告)日:2023-07-18
申请号:CN202310451948.8
申请日:2023-04-23
IPC: G06N20/00 , G06V10/40 , G06F40/226 , G06F40/194
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备,获取图文对和翻译文本对,将图文对中的描述文本和翻译文本对包含的两种语言文本输入到预设的视觉语言模型中的文本特征提取层中,以通过文本特征提取层得到描述文本和两种语言文本的文本特征,并将图文对中的图像输入到视觉语言模型中的图像特征提取层中,以通过图像特征提取层得到图像的图像特征。根据图文对中图像的图像特征与描述文本的文本特征,以及翻译文本对中包含的两种语言文本的文本特征,确定目标损失;根据目标损失,对视觉语言模型进行训练。
-
公开(公告)号:CN113537593A
公开(公告)日:2021-10-22
申请号:CN202110803621.3
申请日:2021-07-15
IPC: G06Q10/04 , G06Q50/26 , G06F40/284 , G06F40/289 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种预测议员投票倾向的方法及其装置,其涉及政治投票技术领域,方法包括:根据议员的基本信息建立议员节点,根据议员在推特发布的言论信息建立言论节点;建立节点之间的关系;获取节点的初始化表示;基于关键词的言论网络的异质图卷积;基于话题标签的言论网络的异质图卷积;基于长短期记忆网络的议题的文本信息初始化;使用异质图卷积神经网络来更新议员和言论节点的表示,并通过三元组损失函数进行联合训练,学习异质图中的节点表示和议题表示,通过议员和议题之间的距离来衡量议员对议题的投票偏好,以预测议员对议题的投票倾向。本申请提高了点名趋势预测的性能,并且适用于没有投票记录的新加入议员的预测。
-
公开(公告)号:CN117252256A
公开(公告)日:2023-12-19
申请号:CN202311170792.2
申请日:2023-09-12
Applicant: 复旦大学
IPC: G06N5/02 , G06F16/36 , G06F40/30 , G06F40/289 , G06F40/126 , G06F16/901 , G06N3/045 , G06N3/042 , G06N3/0895
Abstract: 本发明的目的是提供一种论辩知识图谱及其自动化构建方法、一种同时编码文本与图谱的模型及其预训练方法,以及一种利用图谱信息二次预训练模型的方法。所述方法包括:将论点与论据句子组织为句子内语义图谱和句子间逻辑图谱,并能够从原始论辩语料自动化构建;结合预训练语言模型和图神经网络编码文本和图谱信息,并在其中实现两类信息的交互,相应模型通过多种自监督任务在论辩语料上预训练;通过图谱信息扩充预训练预料内容,并增加相应的预训练任务,应用于所述模型或其它预训练语言模型的二次预训练。本发明能够有效整合各类论辩语料的信息,并为语言模型提供清晰准确的论辩语义、逻辑信息,有助于模型完成需要复杂推理论证的论辩场景任务。
-
公开(公告)号:CN116072251A
公开(公告)日:2023-05-05
申请号:CN202211342147.X
申请日:2022-10-31
Applicant: 复旦大学
Abstract: 本发明的目的是提供一种基于电子病历的传染病自动检测方法,所述方法包括:电子病历的预处理,例如缺失值填充;特征表示方法,包括独热编码和分布式表示,用于将类别特征表示为机器可识别的向量形式;特征选择方法,包括基于统计学的方法和基于强化学习的方法,用于从大型特征集合中快速有效地筛选出有效的特征子集;下游分类算法,包括常用的四种机器学习算法和一种深度学习算法,用于基于特征子集的传染病分类鉴别。实验表明,基于强化学习的方法可以通过自动选择最有效的特征子集来极大改善模型的分类性能,本发明提出的传染病自动诊断程序可以帮助医生进行感染识别和高危人群的定位。
-
公开(公告)号:CN115221347A
公开(公告)日:2022-10-21
申请号:CN202210660120.9
申请日:2022-06-13
Applicant: 复旦大学
IPC: G06F16/583 , G06F16/53 , G06F40/166 , G06F40/30 , G06K9/62
Abstract: 本申请实施例提供了一种图像文本检索模型的建模方法,包括以下步骤:基于掩码语言模型(MLM)生成合成负样本句;使用检索到的负样本和合成负样本句来训练图像文本配对(IRTM、ISTM);通过单词辨别任务WoC和单词校正任务WoD来对合成负样本与正样本句的区别进行训练。本申请实施例提出了一种基于生成负样本句的方法来构建负样本,以提高图文检索模型的训练效率。为了充分利用合成负样本句,本申请还提出了两个训练任务,单词辨别任务和单词校正任务,以结合细粒度的监督信号来增强多模态局部对应建模。本申请实施例构建出的模型在两个公共数据集MS‑COCO和Flickr30K上均达到了最先进的性能。
-
-
-
-
-
-
-
-
-