-
公开(公告)号：CN119888293A
公开(公告)日：2025-04-25
申请号：CN202510386449.4
申请日：2025-03-31
Applicant: 中国科学技术大学
IPC: G06V10/762 , G06V10/74 , G06V10/80 , G06V20/70 , G06V10/764 , G06V10/82
Abstract: 本发明公开了一种基于多模态大模型引导的图像深度聚类方法及系统，所述方法包括：针对每张待聚类的图像生成文本描述，对文本描述进行特征提取得到文本特征集合；将待聚类的所有图像输入CLIP模型的图像编码器，得到图像特征集合；对于每个图像特征，计算其与文本特征集合中各文本特征的余弦距离，选取前N个最大余弦距离对应的文本特征，构建语义特征空间；将融合后的图像特征输入聚类算法，获得聚类结果并计算聚类指标。通过利用多模态大模型生成图像的细粒度描述，本发明能够精准地区分属于不同类别的相似图像，从而显著提升图像聚类性能。通过多模态特征的融合，本发明有效增强了不同类别之间相似图像的区分性，从而提高了图像聚类的准确性。
-
公开(公告)号：CN119886308A
公开(公告)日：2025-04-25
申请号：CN202510360851.5
申请日：2025-03-26
Applicant: 中国科学技术大学
Abstract: 本发明公开了一种面向大模型的知识消除学习的参数调整方法及系统，所述面向大模型的知识消除学习的参数调整方法包括：获取大语言模型初始参数以及消除请求；利用影响函数计算消除请求对应的目标数据对于模型参数的影响，得到参数变化量；根据参数变化量，对适配器模块的参数进行更新。本方法通过引入影响函数，精准估计数据扰动对模型参数的影响，从而避免了传统方法需要完全重新训练模型的高昂计算开销，显著提升了计算效率。通过高效的参数调整机制，在无需重新训练模型的情况下，实现了对多种实例级忘记任务的精准处理。这不仅提高了模型的鲁棒性和准确性，还展现了其在大规模工业场景中的实际应用潜力。
-
公开(公告)号：CN119886073A
公开(公告)日：2025-04-25
申请号：CN202510386461.5
申请日：2025-03-31
Applicant: 中国科学技术大学
IPC: G06F40/166 , G06F16/35 , G06F18/23213 , G06N3/045 , G06F40/194
Abstract: 本发明公开了一种大语言模型知识编辑方法及系统，所述大语言模型知识编辑方法包括：对模型神经元的重要性进行评分，得到每个神经元的评分值；基于评分计算贡献值，并根据预设定的贡献阈值选择参与知识编辑的关键神经元集；将距离聚类中心最近的样本作为锚点样本，所有聚类内的实例共享一个基于锚点样本的更新向量进行第一阶段更新，对每个实例进行额外的个性化调整以进行第二阶段更新。本方法通过引入基于解释性的关键神经元识别，实现了对目标知识的精准定位，从而在大语言模型中进行知识编辑时提供了更高的准确性和效率。通过知识聚类和两阶段梯度更新的结合，有效降低了编辑过程中的计算开销，同时确保模型的稳定性和鲁棒性。
-
公开(公告)号：CN119398179B
公开(公告)日：2025-04-11
申请号：CN202510000941.3
申请日：2025-01-02
Applicant: 中国科学技术大学
IPC: G06N5/04 , G06N3/0455 , G06N3/0895 , G16C20/50 , G16C20/70 , G16C10/00
Abstract: 本发明公开了基于混合专家模型与大语言模型的三维分子文本理解方法，所述三维分子文本理解方法包括：构建混合专家模型的新MoE层，所述MoE层包括多个专家，通过跨模态投影器对任务信息文本及文本上下文进行编码并输入至混合专家模型的路由中；训练处理不同任务的分子编码器，将训练后的分子编码器整合至统一的3D分子编码器中。本发明通过引入文本辅助的MoE层，将任务信息注入路由输入，增强了模型处理特定任务的能力，且提供一种能够同时理解2D、3D分子以及各种不同分子性质的通用模型。通过结合多种分子编码器，提高了对分子特性的全面理解。通过设计分子‑文本映射器，促进了分子特征与文本之间的深度融合，提升了模型对三维分子文本理解能力。
-
公开(公告)号：CN118569348B
公开(公告)日：2024-11-08
申请号：CN202410919603.5
申请日：2024-07-10
Applicant: 中国科学技术大学
IPC: G06N3/09 , G06N3/0985 , G06N3/045 , G06N5/04
Abstract: 本发明公开了一种基于直接偏好优化的模型偏好对齐方法及装置，所述基于直接偏好优化的模型偏好对齐方法包括：获取数据，数据包括偏好数据集，利用偏好数据集的有监督微调初始化模型，并获取模型收敛状态；根据模型收敛状态从偏好数据集中采样一个批量并计算个体奖励差异；根据个体奖励差异从所述偏好数据集进行样本采样，计算批量级别的超参数；根据批量级别的超参数利用DPO损失函数计算损失并利用梯度更新算法更新模型。本发明中#imgabs0#通过动态校准#imgabs1#值，并结合数据质量考虑，优化了DPO的性能。此外，#imgabs2#还引入了#imgabs3#引导的数据过滤方法，以减少异常值对模型训练的影响，#imgabs4#在多种模型和数据集上显著提高了DPO的性能。
-
Patent Agency Ranking
公开(公告)号：CN118570557A
公开(公告)日：2024-08-30
申请号：CN202411034782.0
申请日：2024-07-31
Applicant: 中国科学技术大学
IPC: G06V10/764 , G06V10/82 , G06V10/774 , G06V10/75 , G06V10/40
Abstract: 本发明公开了基于全局和局部内容匹配的小样本图像分类方法及装置，所述方法包括：获取自然图像样本集，对自然图像样本集中的图像特征提取，得到全局特征和局部特征，将与图像对应的文本描述转换为高维特征向量；选择性地组合判别性的局部特征，并利用局部特征融合构建局部表示；将局部表示和全局特征进行匹配，构建鲁棒分类器；对鲁棒分类器训练，利用训练后的鲁棒分类器进行图像分类。通过关注图像的局部内容，并通过选择性地组合局部内容来设计一个局部构造来构建鲁棒的局部表示，这有助于分类器关注图像的细节；将两种分类器结合起来，同时关注局部细节和全局结构，从多个角度对图像内容进行分析，从而实现样本识别。
-
公开(公告)号：CN118470446A
公开(公告)日：2024-08-09
申请号：CN202410931847.5
申请日：2024-07-12
Applicant: 中国科学技术大学
IPC: G06V10/764 , G06V10/74 , G06V10/77
Abstract: 本发明公开了一种小样本图像分类方法、装置、电子设备及存储介质，该小样本图像分类方法包括：获取小样本数据集，小样本数据集包括图像样本以及图像样本对应的文本标签；对图像样本进行特征提取，得到图像特征和图像特征图；根据图像特征和图像特征图，确定图像特征子空间；根据图像特征子空间，确定投影后图像特征；对文本标签进行特征提取，得到文本特征；根据文本特征以及文本特征对应的图像特征图，确定文本特征子空间；根据文本特征子空间，确定投影后文本特征；获取待分类图像；根据投影后图像特征和投影后文本特征，对待分类图像进行分类。通过本发明消除了提取出的图像特征和文本特征之间的模态差异，提升了模型在小样本图像分类准确率。
-
公开(公告)号：CN117312541A
公开(公告)日：2023-12-29
申请号：CN202311526968.3
申请日：2023-11-16
Applicant: 中国科学技术大学
IPC: G06F16/335 , G06F40/295 , G06N20/00 , G06F16/33 , G06F18/213 , G06F18/22
Abstract: 本申请涉及一种实体推荐公平性度量方法、装置、设备及存储介质，其中，该实体推荐公平性度量方法包括：获取中性指令模板和多个敏感指令模板；其中，多个所述敏感指令模板分别含有不同的目标用户特征，所述中性指令模板不含有所述目标用户特征，多个所述目标用户特征属于同一维度；通过大语言模型分别依据所述中性指令模板和多个所述敏感指令模板向用户进行实体推荐，对应得到中性推荐结果和多个敏感推荐结果；分别确定多个所述敏感推荐结果和所述中性推荐结果之间的相似度。通过本申请，解决相关技术中还缺乏有效地针对大语言模型的实体推荐公平性度量方法的问题，实现提高大语言模型对不同敏感属性群体的公平性。
-
公开(公告)号：CN117273173A
公开(公告)日：2023-12-22
申请号：CN202311548820.X
申请日：2023-11-21
Applicant: 中国科学技术大学
Abstract: 本申请涉及一种基于大语言模型的实体推荐方法、装置、电子设备及存储介质，其中，该基于大语言模型的实体推荐方法包括：获取目标指令模板，所述目标指令模板的指令包括根据用户对历史实体的评价确定所述用户对当前实体的评价；获取预训练的初始大语言模型，将所述目标指令模板注入所述预训练的初始大语言模型，得到目标大语言模型；通过所述目标大语言模型预测目标用户对目标当前实体的评价，根据所述目标用户对所述目标当前实体的评价，判断是否向所述目标用户推荐所述目标当前实体。通过本申请，使得目标大语言模型的推荐结果更加符合用户的喜好和诉求，解决了现有的相关技术中存在的实体推荐方法向用户的推荐结果准确度低的问题。
-
公开(公告)号：CN116186421A
公开(公告)日：2023-05-30
申请号：CN202310487681.8
申请日：2023-05-04
Applicant: 中国科学技术大学
IPC: G06F16/9535 , G06F16/906 , G06F18/214
Abstract: 本发明公开了一种消除流行度偏差的推荐方法、系统、设备及存储介质，它们是一一对应的方案，仿真中：针对图推荐模型进行流行度偏差消除，具体是基于训练图推荐模型后获得的初始表征，再进行后处理式的去偏操作，可以直接应用于不同的图推荐模型，具有较好的普适性。相比于其他消除流行度偏差的技术，本发明具有更好的整体推荐性能，提升了尾部冷门物品的推荐效果同时，又较好的保留了高热门物品的推荐性能。
-
-
-
-
-
-
-
-
-
Search Results
128
records
(took 0.03 seconds)
