- 专利标题: 一种基于跨模态图像生成的多视角植株生成方法和装置
-
申请号: CN202311605122.9申请日: 2023-11-29
-
公开(公告)号: CN117314755B公开(公告)日: 2024-02-13
- 发明人: 孙立剑 , 徐晓刚 , 冯献忠 , 王军 , 虞舒敏 , 高金珊 , 曹卫强
- 申请人: 之江实验室 , 中国科学院东北地理与农业生态研究所
- 申请人地址: 浙江省杭州市余杭区中泰街道科创大道之江实验室
- 专利权人: 之江实验室,中国科学院东北地理与农业生态研究所
- 当前专利权人: 之江实验室,中国科学院东北地理与农业生态研究所
- 当前专利权人地址: 浙江省杭州市余杭区中泰街道科创大道之江实验室
- 代理机构: 杭州天勤知识产权代理有限公司
- 代理商 曹兆霞
- 主分类号: G06T3/4053
- IPC分类号: G06T3/4053 ; G06T3/4046 ; G06T5/60 ; G06T5/70 ; G06T7/00 ; G06V20/70 ; G06V10/774 ; G06V10/80 ; G06V10/82 ; G06N3/0455 ; G06N3/0464 ; G06N3/0475 ; G06N3/0895
摘要:
本发明公开了一种基于跨模态图像生成的多视角植株生成方法和装置,属于农业方面的图像处理领域,包括:采集植株图像并标注文本信息;基于图像和文本对文本图像映射模型进行训练微调并冻结,得到图像和文本的内嵌向量;基于图像和文本的内嵌向量,构建基于扩散模型的包含文本图像先验模块和图像编码器模块的图像生成模型并训练;实际推理阶段根据基因型‑表型预测模型得到的目标植株表型数据,引导图像生成模型生成多视角小图,并输入图像超分辨模块得到高分辨率的目标植株图像。本发明采用扩散模型构建图像生成模型和图像超分辨模块,
公开/授权文献
- CN117314755A 一种基于跨模态图像生成的多视角植株生成方法和装置 公开/授权日:2023-12-29