本发明属于视觉信息处理技术领域，特别涉及一种基于迁移学习的fMRI视觉编码模型构建方法，包含：获取视觉刺激图像数据及其对应的fMRI数据集，将刺激图像数据作为编码模型的输入，视觉区fMRI响应作为模型的输出；通过深度卷积神经网络模型提取刺激图像数据的CNN特征，并针对每个视觉区构造视觉响应编码模型；通过构造动态损失函数训练视觉编码模型中的全连接层响应模型，依据视觉响应模式为大脑视觉区每个体素选取最佳视觉编码模型。本发明利用在大数据集上训练得到的深度神经网络模型提取fMRI视觉实验刺激的特征，并将提取的特征通过有效合理的非线性映射得到对于不同体素的响应，构建精度较高的视觉编码模型，提高了对大脑视觉区体素响应的预测准确性。