-
公开(公告)号：CN116127126A
公开(公告)日：2023-05-16
申请号：CN202211560638.1
申请日：2022-12-07
Applicant: 浙江大学
Abstract: 本发明公开了一种自监督的多模态融合音乐推荐方法，包括：收集多模态数据；对多模态数据进行特征提取和特征加权融合，得到视频‑文本融合向量和音频‑情感融合向量；将视频‑文本融合向量和对应的音频‑情感融合向量投影至公共空间，得到正样本对，通过随机采样构建负样本对；采用多模态对比学习策略，进行匹配训练；根据需要进行音乐推荐的视频数据，得到待匹配视频‑文本融合向量；将已有音乐数据的音频‑情感加权结果与待匹配视频‑文本融合向量一同投影到公共空间，计算相似度矩阵并排序，推荐相似度最高的音乐作为视频背景音乐。利用本发明，能够根据给定的视频推荐模态特征相近的背景音乐，可用于电商广告的视频配乐工作。
Search Results
1
records
(took 0.013 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
