本发明提供一种跨模态多质量评价数据集联合训练方法和系统，包括：构建跨模态多质量评价模型，包括特征提取和特征融合两部分；其训练过程共三步：第一步，根据待训练的质量评价数据集个数M，将特征融合部分扩展为M个后，各数据集共用特征提取部分提取特征后输入各数据集对应的特征融合部分进行训练。第二步，特征提取部分继承第一步训练后的模型参数，且将特征融合部分根据模态个数N进行拓展后进行训练。第三步，特征提取部分继承第二步训练后的模型参数，冻结特征提取部分的模型参数，将特征提取部分复原为一个后进行训练。本发明有效地利用跨模态的音频、图像、视频及音视频质量评价数据集来联合训练多模态的跨模态多质量评价模型。