一种基于跨模态图像生成的多视角植株生成方法和装置
摘要:
本发明公开了一种基于跨模态图像生成的多视角植株生成方法和装置,属于农业方面的图像处理领域,包括:采集植株图像并标注文本信息;基于图像和文本对文本图像映射模型进行训练微调并冻结,得到图像和文本的内嵌向量;基于图像和文本的内嵌向量,构建基于扩散模型的包含文本图像先验模块和图像编码器模块的图像生成模型并训练;实际推理阶段根据基因型‑表型预测模型得到的目标植株表型数据,引导图像生成模型生成多视角小图,并输入图像超分辨模块得到高分辨率的目标植株图像。本发明采用扩散模型构建图像生成模型和图像超分辨模块,
0/0