-
公开(公告)号：CN113326287A
公开(公告)日：2021-08-31
申请号：CN202110889022.8
申请日：2021-08-04
Applicant: 山东大学
IPC: G06F16/242 , G06F40/30
Abstract: 本发明提出了一种使用三步策略的在线跨模态检索方法及系统，包括：获取不同模态组成的模拟流数据；针对模拟流数据，通过引入hadamard矩阵生成每个类标签的表示，并将每个类标签的表示作为用于进行哈希码的学习的全局信息，每个类标签的表示还保持局部相似性信息，利用模拟流数据中新到达的数据与已有数据之间的相关性来学习更有判别力的哈希码；利用学习的哈希码更新哈希函数；利用更新的哈希函数计算待检索样本的哈希编码，基于哈希编码计算二进制样本的海明距离，从而根据海明距离来返回与待检索样本相似的另一个模态的样本。本发明THOR可以保留更多的语义信息，学习更准确的哈希码。
-
公开(公告)号：CN111930972B
公开(公告)日：2021-04-27
申请号：CN202010771701.0
申请日：2020-08-04
Applicant: 山东大学
IPC: G06F16/432 , G06N3/04 , G06N3/08
Abstract: 本发明公开了利用标签层次信息的多媒体数据跨模态检索方法及系统，包括：获取待检索的第一模态多媒体数据；对待检索的第一模态多媒体数据进行特征提取，得到第一哈希码；将第一哈希码与预存储的第二模态的所有多媒体数据对应的已知哈希码进行距离计算；选择距离最近的若干个哈希码对应的第二模态的多媒体数据，作为检索结果输出。
-
公开(公告)号：CN111930972A
公开(公告)日：2020-11-13
申请号：CN202010771701.0
申请日：2020-08-04
Applicant: 山东大学
IPC: G06F16/432 , G06N3/04 , G06N3/08
Abstract: 本发明公开了利用标签层次信息的多媒体数据跨模态检索方法及系统，包括：获取待检索的第一模态多媒体数据；对待检索的第一模态多媒体数据进行特征提取，得到第一哈希码；将第一哈希码与预存储的第二模态的所有多媒体数据对应的已知哈希码进行距离计算；选择距离最近的若干个哈希码对应的第二模态的多媒体数据，作为检索结果输出。
-
公开(公告)号：CN111639547A
公开(公告)日：2020-09-08
申请号：CN202010392029.4
申请日：2020-05-11
Applicant: 山东大学
Abstract: 本发明公开了基于生成对抗网络的视频描述方法及系统，包括：获取待描述视频；将待描述视频输入到训练好的生成对抗网络中，训练好的生成对抗网络生成器的编码器提取带有视频时序信息的视觉特征，生成器的解码器对所述视觉特征进行解码，输出待描述视频的描述语句。所述训练好的生成对抗网络，具体训练步骤包括：对生成器单独进行训练，得到单独训练好的生成器；对判别器单独进行训练，得到单独训练好的判别器；将单独训练好的生成器和单独训练好的判别器进行连接，得到初始化生成对抗网络；对初始化生成对抗网络进行训练，得到训练好的生成对抗网络。
-
公开(公告)号：CN111639240A
公开(公告)日：2020-09-08
申请号：CN202010408302.8
申请日：2020-05-14
Applicant: 山东大学
IPC: G06F16/903 , G06F16/9035 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于注意力感知机制的跨模态哈希检索方法及系统，包括：对跨模态数据集中的训练集进行特征提取和注意力特征提取，得到经注意力特征加权的跨模态特征；将跨模态数据对的跨模态特征输入至哈希学习模型中，根据输出的跨模态哈希码以最小化损失函数为目标优化哈希学习模型；根据由优化后的哈希学习模型得到的待测数据的哈希码，在与待测数据模态不同的模态数据的哈希码中，筛选满足检索要求的模态数据。将注意力机制应用于跨模态哈希检索任务中，提出注意力感知机制的新型注意力方法，实现对原始数据中的噪声和冗余进行抑制处理同时对重点关注区域进行增强，提高哈希码的生成质量。
-
Patent Agency Ranking
公开(公告)号：CN109901595A
公开(公告)日：2019-06-18
申请号：CN201910303324.5
申请日：2019-04-16
Applicant: 山东大学
Abstract: 本发明涉及一种基于单目摄像头和树莓派的自动驾驶系统及方法，包括依次连接的数据收集单元、数据预处理单元、深度卷积神经网络、控制单元；数据收集单元用于收集数据集；数据预处理单元用于对收集到的数据集进行预处理；深度卷积神经网络用于训练预处理后的数据集，得到成熟模型；控制单元用于训练得到的成熟模型，使模型车在模型车道上进行自动驾驶。本发明摒弃了复杂的深层网络模型和雷达等昂贵硬件，实现了在较小的计算能力和较差的硬件条件下的自动驾驶，使得可以以较小的成本和代价，即在仅使用单目摄像头和树莓派的情况下，依靠单纯视觉识别使用端对端的神经网络实现了无人驾驶。
-
公开(公告)号：CN108829847A
公开(公告)日：2018-11-16
申请号：CN201810636653.7
申请日：2018-06-20
Applicant: 山东大学
Abstract: 本发明公开了基于多模态购物偏好的商品检索方法及系统，包括：对所有商品构建正相关数据集和负相关数据集；建立多模态特征空间，于多模态特征空间得到每个商品最终的视觉特征的隐含表示和文本特征的隐含表示；将每个商品最终的视觉特征的隐含表示和文本特征的隐含表示进行融合，得到每个商品的融合后的隐含表示；基于翻译模型的转换矩阵将隐含表示映射到隐空间中，得到映射后的每个商品的隐表示向量；将新查询文本利用基于翻译模型的转换矩阵映射到隐空间中，计算新查询文本对应的商品的隐表示向量与每个商品的隐表示向量之间的距离；将距离按照从小到大排序，将排序靠前的设定个商品作为商品检索结果输出。
-
公开(公告)号：CN108805078A
公开(公告)日：2018-11-13
申请号：CN201810593780.3
申请日：2018-06-11
Applicant: 山东大学
CPC classification number: G06K9/00362 , G06K9/00751 , G06N3/0454
Abstract: 本发明公开了基于行人平均状态的视频行人再识别方法及系统，包括：非重叠相机拍摄获得视频，构成包含若干行人的数据集，暹罗网络与暹罗损失函数一起训练，由于训练好的网络学习到的视频特征具有区分性，通过对来自同一视频的所有帧的特征进行平均而获得的特征向量初始化个体的平均体；视频内损失函数被定义为最小化特征向量与平均状态之间的距离，将视频内损失函数与暹罗损失函数结合在一起，从头开始训练新的模型；用训练好的模型更新行人平均状态，并且用更新的平均状态对网络进行重新训练，直到在验证集上没有对行人再识别的准确性产生进一步收益。本申请方法在PRID2011，iLIDS‑VID和MARS数据集上优于大多数最先进的算法，这也证明了本申请提出的方法的有效性。
-
公开(公告)号：CN103399951A
公开(公告)日：2013-11-20
申请号：CN201310362184.1
申请日：2013-08-19
Applicant: 山东大学
IPC: G06F17/30
Abstract: 本发明公开了一种基于异构图具有自反馈特性的半监督图像重排序方法，该方法的步骤如下：步骤（1）：对需要重排序的图像，提取文本特征和视觉特征；步骤（2）：使用图像的文本特征和视觉特征来构建异构图，计算模态内相似性和模态间相似性作为异构图对应节点之间的权值；步骤（3）：在异构图上使用自反馈的半监督学习算法，计算得到图像文本特征排序得分和视觉特征排序得分；步骤（4）：根据步骤（3）中计算的图像文本特征得分和视觉特征得分，计算图像排序得分，从而实现对图像进行重排序。该方法不仅对搜索结果有提高，不需要用户的额外输入，而且运行时间较少，适合用在现实的图像检索系统中，提高图像重排序技术的性能。
-
公开(公告)号：CN102129477B
公开(公告)日：2013-01-09
申请号：CN201110102412.2
申请日：2011-04-23
Applicant: 山东大学
Abstract: 本发明公开了一种针对图像检索的结果重排序方法，该方法在对图像进行排序过程中可以充分利用多模态信息，使用该方法可以在现有检索的结果基础上，进一步改善图像的排序结果，提高其准确率，非常适合在网络环境下或者基于本地系统的图像检索系统使用。其方法步骤为：(1)提出图像的可视特征和文本特征。(2)检索图像之间的模态内(单模态之间)和模态间(多模态之间)的相似度。并根据这些相似度来构建多重图。(3)将多重图进行处理，使其退化为一个完全图。(4)在完全图上进行随机游走，并计算图像排序得分。(5)根据随机游走的得分情况，对图像进行重新排序，得到最终结果。
-
-
-
-
-
-
-
-
-
Search Results
81
records
(took 0.041 seconds)
