-
公开(公告)号：CN118520134A
公开(公告)日：2024-08-20
申请号：CN202410680204.8
申请日：2024-05-29
Applicant: 浙江大学
Inventor： 赵磊 , 栾俊升 , 张权威 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫俊程 , 马骋 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
IPC: G06F16/58 , G06N3/0464 , G06N3/048 , G06N3/08 , G06T5/70
Abstract: 本申请涉及一种基于预训练文生图模型的生成含有预期标识图像的方法、计算机设备、可读存储介质和程序产品。方法包括：获得含有预期标识的参考图像，对参考图像依次执行定向编码和反向重建，在反向重建的过程中抽取获得第一自注意力图；获得随机噪声、以及含有预期标识文本的提示句，将随机噪声、提示句输入至预训练文生图模型；在对随机噪声去噪的过程中，将第一自注意力图注入更新相应位置的第二注意力图，引导预训练文生图模型生成含有预期标识的图像。本申请利用第一注意力图，注入更新相应位置的第二注意力图，对生成内容进行细粒度结构特征引导，生成含有预期标识文本提示句所对应的图像时，更好地保留了预期标识的结构和外观特征。
-
公开(公告)号：CN118520133A
公开(公告)日：2024-08-20
申请号：CN202410680203.3
申请日：2024-05-29
Applicant: 浙江大学
Inventor： 赵磊 , 栾俊升 , 张权威 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫俊程 , 马骋 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
Abstract: 本申请涉及一种基于预训练文生图模型双向微调的生成含预期标识图像的方法、计算机设备和可读存储介质，方法包括：获得类泛化图像、以及与类泛化图像对应的类泛化提示句；对类泛化提示句附加第一权重的预期标识文本获得第一提示句，对类泛化提示句附加第二权重的预期标识文本获得第二提示句；获取与第一提示句相对应的第一生成图像；获取与第二提示句相对应的第二生成图像；利用预设损失参数微调预训练文生图模型，预设损失参数包括第一预设损失和第二预设损失，第一预设损失为含预期标识的参考图像及第一生成图像两者的差异损失，第二预设损失为类泛化图像及第二生成图像两者的差异损失；利用微调后的预训练文生图模型，重新获得第一生成图像。
-
公开(公告)号：CN118015113A
公开(公告)日：2024-05-10
申请号：CN202311862018.8
申请日：2023-12-29
Applicant: 浙江大学
Abstract: 本申请涉及一种个性化文本到图像生成方法、计算机设备、可读存储介质和程序产品，个性化文本到图像生成方法用于根据含标识的第一文本提示生成图像，包括：根据第一文本提示获得第二文本提示和第三文本提示，第二文本提示表示生成标识的图像，第三文本提示表示标识的母类标识及所处环境；根据第一文本提示、第二文本提示和第三文本提示分别生成第一注意力图、第二注意力图和第三注意力图；同时分解第一注意力图和第二注意力图，对比迭代更新后获得对应标识的第一优化图；同时分解第一注意力图和第三注意力图，对比迭代更新后获得对应所处环境的第二优化图，将第一优化图和第二优化图重组后获得注意力结果图。
-
公开(公告)号：CN118158489A
公开(公告)日：2024-06-07
申请号：CN202410261768.8
申请日：2024-03-07
Applicant: 浙江大学
IPC: H04N21/81 , H04N21/44 , H04N21/466 , H04N5/272
Abstract: 本申请涉及一种基于3D高斯模型实现的高效流式传输自由视点视频生成方法、计算机设备和程序产品，高效流式传输自由视点视频生成方法，包括：获得三维场景前一帧的3D高斯模型，3D高斯模型为3D高斯的集合，对于一个3D高斯，其包括空间上的一个位置点、以及该位置点属性；构建包括感知机的神经网络，位置点以位置哈希编码的方式记录，感知机接收位置哈希编码，并将位置哈希编码映射为3D高斯的属性变化，属性变化包括用来表示3D高斯位移的第一部分、以及用来表示3D高斯旋转的第二部分；在后一帧利用3D高斯位移、以及3D高斯旋转，更新3D高斯，渲染得到参考图像；利用参考图像和样本图像的损失，优化神经网络，利用优化后的神经网络生成后帧图像。
-
-
-
Search Results
4
records
(took 0.013 seconds)
