一种基于多模态预训练模型的教育资源推荐方法

    公开(公告)号:CN116049557A

    公开(公告)日:2023-05-02

    申请号:CN202310097847.5

    申请日:2023-02-10

    Inventor: 王海艳 唐瞻 骆健

    Abstract: 本发明公开了一种基于多模态预训练模型的教育资源推荐方法,包括:收集用户在线学习的多模态数据,根据不同模态的数据做相应的预处理,获取文本类数据、图片类数据、音频类数据和数值类数据,分别输入多模态预训练模型的单模态接收网络,进行单模态的单独训练和多模态交叉训练,掩码预测预训练通过遮蔽一定比例的原输入对原始输入遮蔽部分进行预测,交叉对齐训练任务通过一个模态的特定特征预测另一个模态的特征。预训练的多模态模型可直接接收多模态输入,并输入长短记忆网络学习多模态表示向量,并通过全连接网络进行投影,输出结果为用户需要资源的概率,作为推荐排行依据展示给用户。本发明提高了在线教育资源推荐的全面性和准确性。

Patent Agency Ranking