-
公开(公告)号：CN106998502A
公开(公告)日：2017-08-01
申请号：CN201710124570.5
申请日：2017-03-03
Applicant: 上海交通大学
IPC: H04N21/466 , H04N21/258 , H04N21/25 , H04N21/45
CPC classification number: H04N21/4667 , H04N21/251 , H04N21/25891 , H04N21/4532
Abstract: 本发明提供了一种基于霍克斯过程的节目质量评价方法，该方法包括：将用户收视行为的原始数据抽象成点过程，只包含用户观看的时间点、节目编号、节目类型和频道编号；排除了用户收视意愿、用户偏好、频道偏好等主客观因素对节目质量评价的影响；排除了节目类型等客观因素对节目质量评价的影响；利用霍克斯模型对每个用户收视节目的行为建模。同时，本发明还使用最小窗梯度下降算法，通过对用户数据的计算，得到所建立模型的各项参数，从而实现对节目质量和节目类型的评价。
-
公开(公告)号：CN115223585B
公开(公告)日：2025-02-28
申请号：CN202210779606.4
申请日：2022-07-04
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于Wav2vec 2.0和BERT的多级融合多模态情感识别的方法和系统，包括：利用语音大规模预训练模型Wav2vec 2.0提取语音帧级特征向量；分别利用词级，音素级，音节级强制对齐对语音帧级特征向量提取语音词级，音素级，音节级特征向量；利用文本大规模预训练BERT提取文本特征向量；融合语音帧级特征向量，语音词级特征向量，语音音素级特征向量，语音音节级特征向量，文本特征向量的前期融合决策与后期融合决策；融合前期融合决策和后期融合决策的前后期组合融合决策。本发明利用大规模预训练模型分别提取语音和文本的特征向量，并提出多级融合策略，实现更准确的多模态情感识别。
-
公开(公告)号：CN118782040A
公开(公告)日：2024-10-15
申请号：CN202411114871.6
申请日：2024-08-14
Applicant: 上海交通大学
IPC: G10L15/22 , G10L15/06 , G10L15/26 , G10L15/183 , G10L15/16
Abstract: 本发明提供了一种针对口语问答的端到端的多模态大语言模型的训练方法及系统，包括：利用现有语音识别数据集构建针对大语言模型的口语问答数据集；利用语音预训练模型提取输入语音的帧级语音特征向量提取器；利用文本预训练模型提取输入文本的文本特征向量提取器；利用线性变化模块进行语音和文本特征融合的特征融合模块；利用文本预训练大语言模型对融合特征进行解码并产生文本输出的解码器部分。本发明提出了一种便捷的数据集构建方式，并提出分别利用语音，文本预训练模型提取语音和文本的特征向量，两种特征向量通过提出的特征融合模块进行融合后送入文本预训练大语言模型并进行参数微调，以实现端到端的多模态大语言模型训练。
-
公开(公告)号：CN118551819A
公开(公告)日：2024-08-27
申请号：CN202410699534.1
申请日：2024-05-31
Applicant: 上海交通大学
IPC: G06N3/08 , G06N3/084 , G06V10/82 , G06V10/774
Abstract: 本发明涉及一种用于训练深度神经网络的在线批数据处理方法和设备，方法包括如下步骤：从给定的数据集中采样得到一个数据批次；利用基于正交化的目标函数从所述数据批次中选取子集S；基于子集S对目标深度神经网络进行训练。与现有技术相比，本发明利用正交化方法去除子集间的冗余，提供了基于正交化去冗余相关性的目标函数来同时衡量子集的多样性与代表性，并提供了基于目标函数的高效优化方法与对应的数据选择算法，能够高效的挑选多样且有代表性的子集。
-
公开(公告)号：CN118503468A
公开(公告)日：2024-08-16
申请号：CN202410624128.9
申请日：2024-05-20
Applicant: 上海人工智能创新中心 , 上海交通大学
IPC: G06F16/535 , G06F16/583
Abstract: 本发明涉及一种基于几何结构一致性的鲁棒跨模态检索方法、设备及介质，该方法利用跨模态和模态内几何结构一致性对噪声样本识别进行识别，同时针对几何结构一致性设定来设计相应训练流程，并采用基于动量的变量更新策略与双网络架构来改进训练流程。与现有技术相比，本发明具有在跨模态和模态内两个层面上进行识别大幅提升了噪声识别的准确性等优点。
-
Patent Agency Ranking
公开(公告)号：CN118379991A
公开(公告)日：2024-07-23
申请号：CN202410596298.0
申请日：2024-05-14
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于后偏置替换的稀有词语音识别训练方法与系统，包括：对任意语料，根据训练文本标注的子词划分分布生成替换概率矩阵；提高预先定义的热词表所对应的矩阵元素概率，构成偏好于稀有词识别的含偏替换概率矩阵；对于任意端到端语音识别模型，将含偏替换概率矩阵集成到模型后端，并通过全连接网络生成识别结果。本发明通过使用偏好于稀有词识别结果的子词单位替换策略，引导端到端模型在语音识别的解码过程中选择包含稀有词的次优路径，有效提升语音识别模型对重要实词的识别性能，对诸如语义理解、情感推理等下游任务具有重要意义。此外，该项发明具有轻量级的特点，以较小的存储和计算成本代价提升模型性能。
-
公开(公告)号：CN118378669A
公开(公告)日：2024-07-23
申请号：CN202410476188.0
申请日：2024-04-19
Applicant: 上海交通大学
IPC: G06N3/0464 , G06N3/082
Abstract: 本公开提供一种动态神经辐射场表示和压缩的端到端联合优化方法，其包括：采用系数特征网格和基础特征网格表示动态神经辐射场，采用残差特征网格和系数特征网格补偿动态神经辐射场的误差区域，确定经过表示的动态神经辐射场；对经过表示的动态神经辐射场进行模型训练处理和模拟量化操作处理；根据经过表示的动态神经辐射场的预测压缩数据量和预设的损失函数对经过模拟量化操作处理的动态神经辐射场进行优化处理，确定训练完成的动态神经辐射场；对训练完成的动态神经辐射场进行均匀量化处理和编码处理，确定动态神经辐射场的实际压缩数据量。通过本公开，高效地对动态神经辐射场进行建模和压缩，提高动态神经辐射场的压缩率并减少还原后的失真度。
-
公开(公告)号：CN118172306A
公开(公告)日：2024-06-11
申请号：CN202410179957.0
申请日：2024-02-18
Applicant: 上海人工智能创新中心 , 上海交通大学
IPC: G06T7/00 , G06V10/774 , G06V10/764
Abstract: 本发明涉及一种基于视觉语言模型的医学图像异常检测方法、设备及介质，该方法采用多层次视觉特征适配技术，将多个残差适配器集成到视觉语言模型的视觉编码器中；同时采用适配特征比对技术，通过视觉适配特征与文本提示特征的比对实现零样本异常检测，或者通过少样本目标图像视觉适配特征的比对实现少样本异常检测。与现有技术相比，本发明具有更加准确的定位异常区域，提供更加优秀的异常检测性能等优点。
-
公开(公告)号：CN113628108B
公开(公告)日：2023-10-27
申请号：CN202110755689.9
申请日：2021-07-05
Applicant: 上海交通大学
IPC: G06T3/40 , G06V10/77 , G06V10/772 , G06V10/82 , G06V10/766 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种基于离散表示学习的图像超分辨率方法和系统、终端，所述方法包括：分别创建低分辨率以及高分辨率的离散字典；将低分辨率图像输入卷积神经网络得到提取的图像特征，并参照低分辨率离散字典，将图像特征转换为离散表示；将基于低分辨率字典的离散表示通过自回归网络，映射成基于高分辨率字典的离散表示；将离散表示参照高分辨率字典，转换为高分辨率图像特征，再通过卷积神经网络，进行反卷积的操作，生成输入低分辨率图像对应的高分辨率图像。本发明能够利用低清高清数据对来分别建立低分辨率以及高分辨率离散字典，将输入的低分辨率图像通过这两个字典变为对应的高分辨率图像，提升图像的清晰度。
-
公开(公告)号：CN116823939A
公开(公告)日：2023-09-29
申请号：CN202310387575.2
申请日：2023-04-12
Applicant: 上海人工智能创新中心 , 上海交通大学
Abstract: 本发明提供了一种多智能体协作的3D对象检测方法，包括：在第一智能体上设置感知模块、预测模块和融合模块，在第二智能体上设置感知模块；由第一智能体和第二智能体的感知模块基于传感器信息对周围物体的信息进行感知，分别得到第一感知信息和第二感知信息，其中第二感知信息作为第一智能体的交互信息；由第一智能体的预测模块基于周围物体的历史信息对周围物体的当前状态进行预测，得到预测结果；以及由第一智能体的融合模块与第二智能体进行信息交互，以使得第一感知信息与所述交互信息进行融合，以及使得第一感知信息与预测结果进行融合。
-
-
-
-
-
-
-
-
-
Search Results
188
records
(took 0.044 seconds)
