-
公开(公告)号：CN119719451A
公开(公告)日：2025-03-28
申请号：CN202510220410.5
申请日：2025-02-27
Applicant: 中国科学技术大学
IPC: G06F16/907 , G06N3/0455 , G06N5/04 , G06V10/26 , G06V20/70
Abstract: 本发明公开了一种大模型增强的跨模态检索方法、系统及相关设备，所述跨模态检索方法包括：获取图像‑文本对；基于所述图像‑文本对，获取图像‑文本对的大模型增强信息，结合原始图像、文本和增强信息，采用预训练CLIP模型的多分支编码器以得到多个特征向量，构建多级协同对齐损失函数，在公共语义空间对图像模态和文本模态进行协同对齐；通过所述多级协同对齐损失函数以及预构建的训练数据库对模型进行训练，通过训练后的模型进行检索。本发明通过对编码器得到的图文特征进行协同学习，通过加入辅助的语义增强信息，在公共语义空间对图像模态和文本模态进行协同对齐，以训练出更好的检索网络从而提升图像‑文本检索的准确性。
-
公开(公告)号：CN118570557B
公开(公告)日：2024-11-22
申请号：CN202411034782.0
申请日：2024-07-31
Applicant: 中国科学技术大学
IPC: G06V10/764 , G06V10/82 , G06V10/774 , G06V10/75 , G06V10/40
Abstract: 本发明公开了基于全局和局部内容匹配的小样本图像分类方法及装置，所述方法包括：获取自然图像样本集，对自然图像样本集中的图像特征提取，得到全局特征和局部特征，将与图像对应的文本描述转换为高维特征向量；选择性地组合判别性的局部特征，并利用局部特征融合构建局部表示；将局部表示和全局特征进行匹配，构建鲁棒分类器；对鲁棒分类器训练，利用训练后的鲁棒分类器进行图像分类。通过关注图像的局部内容，并通过选择性地组合局部内容来设计一个局部构造来构建鲁棒的局部表示，这有助于分类器关注图像的细节；将两种分类器结合起来，同时关注局部细节和全局结构，从多个角度对图像内容进行分析，从而实现样本识别。
-
公开(公告)号：CN118470446B
公开(公告)日：2024-10-22
申请号：CN202410931847.5
申请日：2024-07-12
Applicant: 中国科学技术大学
IPC: G06V10/764 , G06V10/74 , G06V10/77
Abstract: 本发明公开了一种小样本图像分类方法、装置、电子设备及存储介质，该小样本图像分类方法包括：获取小样本数据集，小样本数据集包括图像样本以及图像样本对应的文本标签；对图像样本进行特征提取，得到图像特征和图像特征图；根据图像特征和图像特征图，确定图像特征子空间；根据图像特征子空间，确定投影后图像特征；对文本标签进行特征提取，得到文本特征；根据文本特征以及文本特征对应的图像特征图，确定文本特征子空间；根据文本特征子空间，确定投影后文本特征；获取待分类图像；根据投影后图像特征和投影后文本特征，对待分类图像进行分类。通过本发明消除了提取出的图像特征和文本特征之间的模态差异，提升了模型在小样本图像分类准确率。
-
公开(公告)号：CN114863132B
公开(公告)日：2024-09-24
申请号：CN202210609728.9
申请日：2022-05-31
Applicant: 中国科学技术大学
IPC: G06V10/44 , G06V10/764 , G06V10/82 , G06N3/0499 , G06N3/045
Abstract: 本发明公开了一种图像空域信息的建模与捕捉方法、系统、设备及存储介质，本发明中，针对现阶段的多层感知机网络模型在处理图片空域信息低效的问题，创新性地设计了基于位置编码实现的分组空域信息融合方式，在有效提升基线模型性能的同时，显著的减少了模型参数量，且仅引入很少的计算开销；并且，率先提出基于泛化二次位置编码的在感知机网络中的应用，并从同时实现全局/局部特征建模角度提升了模型性能，最终设计采用了基于特征分窗设计的层级连接网络框架，进一步提升了感知机网络性能表现，使其具有相当甚至超过基于卷积和自注意力模型的网络性能。
-
公开(公告)号：CN118470470A
公开(公告)日：2024-08-09
申请号：CN202410931782.4
申请日：2024-07-12
Applicant: 中国科学技术大学
IPC: G06V10/774 , G06V10/776 , G06V10/74 , G06V10/764
Abstract: 本发明公开了一种小样本图像分布估计方法、装置及存储介质，其中，小样本图像分布估计方法包括：获取基础数据集和支撑集，基础数据集中的样本与支撑集中样本的类别不同；计算支撑集中样本的类别与基础数据集中的样本的类别的第一相似度，确定支撑集的类别层级的分布估计；计算支撑集中样本的类别与基础数据集中的样本的第二相似度；确定支撑集的样例层级的分布估计；根据类别层级的分布估计以及样例层级的分布估计，确定支撑集中每个类别对应的分布估计；对支撑集中的样本进行扩充。通过从分布估计中采取新样本，以达到扩充样本的目的，解决了小样本学习中可训练样本稀缺的问题，同时可使扩充的样本表征性充足，提高分类准确率。
-
Patent Agency Ranking
公开(公告)号：CN118153583A
公开(公告)日：2024-06-07
申请号：CN202410442083.3
申请日：2024-04-12
Applicant: 中国科学技术大学
IPC: G06F40/30 , G06N3/0442 , G06N3/0464 , G06N3/0455 , G06N3/084 , G06V20/40 , G06V10/80
Abstract: 本发明公开了一种基于模态间互补性挖掘的多模态情感分析方法，包括：1单模态数据预处理；2构建语义感知的多模态交互模块；3构建多模态语义分离模块；4预测模块；5模型参数优化，得到最优模型。本发明提取视频片段中视觉、文本、语音三种模态的情感线索，并进行相应的单模态编码提取特征，随后通过构建语义感知的多模态交互模块提取模态间的语义关联，挖掘出与情感相关的上下文信息，并通过构建多模态语义分离模块及计算其损失值，获取与模态无关的情感鉴别性特征以及减少模态之间的噪声与冗余信息，并通过模态融合生成兼容的多模态情感特征描述，能够很好地解决不同模态语义的不均衡性，从而提高多模态融合表征的互补性和兼容性。
-
公开(公告)号：CN113220745B
公开(公告)日：2024-02-09
申请号：CN202110546261.3
申请日：2021-05-19
Applicant: 中国科学技术大学
IPC: G06F16/2458 , G06Q40/04
Abstract: 本发明公开了一种基于区块链的交易处理方法、装置及电子设备，该方法包括：在交易执行之前，通过预排序节点对交易的冲突情况进行检测，若预设的数据库中存在与交易的读集相冲突的写集，则表示存在与该交易相冲突的交易，则将该交易存储到等待队列中，若预设的数据库中不存在与该交易相冲突的交易，则将该交易发送给背书节点，以使背书节点执行该交易。由此，通过预排序节点对交易的冲突情况进行检测，避免了具有冲突的交易的并发执行，降低了产生无效交易的概率，提高Fabric系统有效交易的吞吐量。
-
公开(公告)号：CN116452895B
公开(公告)日：2023-10-20
申请号：CN202310693879.1
申请日：2023-06-13
Applicant: 中国科学技术大学
IPC: G06V10/764 , G06V10/82 , G06N3/084 , G06N3/096 , G06N3/0464
Abstract: 本发明公开了一种基于多模态对称增强的小样本图像分类方法、装置及介质，该小样本图像分类方法包括以下步骤：基础类别候选集构建、视觉特征增强、文本特征增强、视觉分类器训练、文本知识迁移和模型训练与测试步骤。本发明通过在文本端和视觉端分别进行对称的级联增强操作，以样本扩充和文本扩充的方式利用充足的基础类别样本对新类别样本进行增强，并通过跨模态迁移交换来自不同模态的知识，从而最大限度地探索新类别数据分布，提升分类器的判别能力，提高小样本图像分类的准确度。
-
公开(公告)号：CN114863132A
公开(公告)日：2022-08-05
申请号：CN202210609728.9
申请日：2022-05-31
Applicant: 中国科学技术大学
IPC: G06V10/44 , G06V10/764 , G06N3/08 , G06N3/04 , G06K9/62
Abstract: 本发明公开了一种图像空域信息的建模与捕捉方法、系统、设备及存储介质，本发明中，针对现阶段的多层感知机网络模型在处理图片空域信息低效的问题，创新性地设计了基于位置编码实现的分组空域信息融合方式，在有效提升基线模型性能的同时，显著的减少了模型参数量，且仅引入很少的计算开销；并且，率先提出基于泛化二次位置编码的在感知机网络中的应用，并从同时实现全局/局部特征建模角度提升了模型性能，最终设计采用了基于特征分窗设计的层级连接网络框架，进一步提升了感知机网络性能表现，使其具有相当甚至超过基于卷积和自注意力模型的网络性能。
-
公开(公告)号：CN113220745A
公开(公告)日：2021-08-06
申请号：CN202110546261.3
申请日：2021-05-19
Applicant: 中国科学技术大学
IPC: G06F16/2458 , G06Q40/04
Abstract: 本发明公开了一种基于区块链的交易处理方法、装置及电子设备，该方法包括：在交易执行之前，通过预排序节点对交易的冲突情况进行检测，若预设的数据库中存在与交易的读集相冲突的写集，则表示存在与该交易相冲突的交易，则将该交易存储到等待队列中，若预设的数据库中不存在与该交易相冲突的交易，则将该交易发送给背书节点，以使背书节点执行该交易。由此，通过预排序节点对交易的冲突情况进行检测，避免了具有冲突的交易的并发执行，降低了产生无效交易的概率，提高Fabric系统有效交易的吞吐量。
-
-
-
-
-
-
-
-
-
Search Results
33
records
(took 0.043 seconds)
