-
公开(公告)号：CN118520134A
公开(公告)日：2024-08-20
申请号：CN202410680204.8
申请日：2024-05-29
Applicant: 浙江大学
Inventor： 赵磊 , 栾俊升 , 张权威 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫俊程 , 马骋 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
IPC: G06F16/58 , G06N3/0464 , G06N3/048 , G06N3/08 , G06T5/70
Abstract: 本申请涉及一种基于预训练文生图模型的生成含有预期标识图像的方法、计算机设备、可读存储介质和程序产品。方法包括：获得含有预期标识的参考图像，对参考图像依次执行定向编码和反向重建，在反向重建的过程中抽取获得第一自注意力图；获得随机噪声、以及含有预期标识文本的提示句，将随机噪声、提示句输入至预训练文生图模型；在对随机噪声去噪的过程中，将第一自注意力图注入更新相应位置的第二注意力图，引导预训练文生图模型生成含有预期标识的图像。本申请利用第一注意力图，注入更新相应位置的第二注意力图，对生成内容进行细粒度结构特征引导，生成含有预期标识文本提示句所对应的图像时，更好地保留了预期标识的结构和外观特征。
-
公开(公告)号：CN119206051A
公开(公告)日：2024-12-27
申请号：CN202411152867.9
申请日：2024-08-21
Applicant: 浙江大学
Inventor： 赵磊 , 马骋 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫竣程 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
Abstract: 本申请提供一种基于3D高斯溅射的稀疏输入场景重建方法及计算机程序产品，基于3D高斯溅射的稀疏输入场景重建方法包括：将同一场景不同视角的2D图像输入colmap软件，获得3D高斯的初始化点云，初始化点云用于确定场景重建开始时的高斯点数量与属性；获得高斯点A和高斯点B的衡量距离，高斯点A为任意一个高斯点，高斯点B为与高斯点A最邻近的高斯点；若衡量距离大于第一阈值，则在高斯点A和高斯点B之间添加高斯点C；基于2D图像规范3D高斯的场景重建，获得重建的三维场景。本申请补充添加了高斯点C之后，初始化点云得以完善，减少了三维场景重建时对大量输入图片的依赖，在三维场景重建优化的过程中，使重建的三维场景保持较好的丰富度。
-
公开(公告)号：CN119477668A
公开(公告)日：2025-02-18
申请号：CN202411316915.3
申请日：2024-09-20
Applicant: 浙江大学
Inventor： 赵磊 , 李光远 , 马骋 , 莫竣程 , 林怀忠 , 张占杰 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
IPC: G06T3/04 , G06V10/44 , G06V10/774 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种基于扩散模型的虚拟试穿方法、计算机设备和程序产品，虚拟试穿方法包括：获得服装图以及模特图，分别获得姿势图、深度图、掩码图、模特潜特征及服装潜特征，同时输入至第一控制网络和第二控制网络；将姿势图和服装图卷积后获得姿势特征图，将随机噪声、模特潜特征、姿势特征图结合后输入第一控制网络，第一控制网络输出姿势控制向量；将深度图和服装图卷积后获得深度特征图，将随机噪声、模特潜特征、深度特征图结合后输入第二控制网络，第二控制网络输出深度控制向量；向第一扩散模型的中间层和解码器中注入姿势控制向量和深度控制向量使输出试穿图像；比较试穿图像和模特图的差异损失，训练第一控制网络和第二控制网络。
-
公开(公告)号：CN118573978A
公开(公告)日：2024-08-30
申请号：CN202410680197.1
申请日：2024-05-29
Applicant: 浙江大学
Inventor： 赵磊 , 焦涵 , 贾世安 , 林怀忠 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫俊程 , 马骋 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 张占杰 , 李光远 , 张玮婧 , 王欣宇 , 邢卫
IPC: H04N21/8549 , H04N21/81 , G06T15/00 , G06T17/00
Abstract: 本申请涉及一种基于3D高斯的高效流式传输的低比特率自由视点视频生成方法、计算机设备、可读存储介质和程序产品。生成方法包括：构建基于3D高斯的三维场景，3D高斯包括在初始帧构建的结构化3D高斯、以及在后续帧出现的自由3D高斯，3D高斯具有源于结构化3D高斯的第一类位置点、以及源于自由3D高斯的第二类位置点；将每个锚点关联至相应组别内所有的第一类位置点，使被关联的第一类位置点依附于相应的锚点；对于任意一组，获得锚点自身信息、以及关联信息，将二者映射至结构化3D高斯的协方差矩阵；逐帧优化3D高斯，包括间接优化第一类位置点及其属性、以及直接优化第二类位置点及其属性，渲染得到后续帧图像。
-
公开(公告)号：CN118520133A
公开(公告)日：2024-08-20
申请号：CN202410680203.3
申请日：2024-05-29
Applicant: 浙江大学
Inventor： 赵磊 , 栾俊升 , 张权威 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫俊程 , 马骋 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
Abstract: 本申请涉及一种基于预训练文生图模型双向微调的生成含预期标识图像的方法、计算机设备和可读存储介质，方法包括：获得类泛化图像、以及与类泛化图像对应的类泛化提示句；对类泛化提示句附加第一权重的预期标识文本获得第一提示句，对类泛化提示句附加第二权重的预期标识文本获得第二提示句；获取与第一提示句相对应的第一生成图像；获取与第二提示句相对应的第二生成图像；利用预设损失参数微调预训练文生图模型，预设损失参数包括第一预设损失和第二预设损失，第一预设损失为含预期标识的参考图像及第一生成图像两者的差异损失，第二预设损失为类泛化图像及第二生成图像两者的差异损失；利用微调后的预训练文生图模型，重新获得第一生成图像。
-
Patent Agency Ranking
公开(公告)号：CN119228977A
公开(公告)日：2024-12-31
申请号：CN202411152857.5
申请日：2024-08-21
Applicant: 浙江大学
Inventor： 赵磊 , 马骋 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫竣程 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
IPC: G06T15/50 , G06T15/00 , G06T17/00 , G06N3/0499 , G06N3/08
Abstract: 本申请涉及一种基于3D高斯溅射的三维低照度场景增亮方法、计算机设备和程序产品，三维低照度场景增亮方法包括：在三维空间中设置若干支点，支点的属性包括支点位置属性、用于确定支点相关联高斯点位置的高斯点定位属性，用于确定支点相关联高斯点特征的外观属性和几何属性；由外观属性提取参与渲染的反射分量和照度分量；根据2D图像与3D高斯相应视角下渲染图像的差异，优化支点位置属性、高斯点定位属性、外观属性和几何属性；利用多层感知机从外观属性中提取伽玛值，获得增强照度分量；将反射分量与增强照度分量相乘获得高斯点颜色，通过体渲染得到不同视角下的亮度增强图像，根据亮度增强图像获得亮度增强损失优化多层感知机。
-
公开(公告)号：CN119205943A
公开(公告)日：2024-12-27
申请号：CN202411152864.5
申请日：2024-08-21
Applicant: 浙江大学
Inventor： 赵磊 , 马骋 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫竣程 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
Abstract: 本申请涉及一种基于多分辨率码本的三维动态场景压缩方法、计算机设备和程序产品，三维动态场景压缩方法包括：利用同一动态场景不同时刻不同视角下的输入视图，重建获得基于空间中3D高斯点的三维动态场景，各3D高斯点具有高斯点属性；根据输入视图、以及相同时刻相同视角下三维场景的渲染图像，优化高斯点属性；将高斯点位置和动态场景时间均作为输入，获取高斯点属性变化量，将高斯点属性变化量叠加至高斯点属性，获得不同时刻的三维场景；根据变形场特征平面的分辨率数量对应地提供多个特征码本，特征码本用于与变形场特征平面同步地优化，特征码本的特征码本值用于与相应分辨率下的变形场特征平面中的特征值进行一对多的映射和替换。
-
公开(公告)号：CN118967915A
公开(公告)日：2024-11-15
申请号：CN202411041680.1
申请日：2024-07-31
Applicant: 浙江大学
Inventor： 尹浩霖 , 赵磊 , 林怀忠 , 邢卫 , 张权威 , 张占杰 , 李光远 , 孙嘉锴 , 蓝泽铧 , 莫俊程 , 马骋 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧
IPC: G06T15/20 , G06V10/774 , G06V10/82 , G06N3/09
Abstract: 本申请涉及一种基于2D先验的3D高斯场景风格迁移方法、计算机设备和计算机程序产品，包括：利用3D场景多视角的原始图像集，构建3D高斯；对3D高斯进行图像渲染，获得与原始图像集的视角相对应的渲染图像集；利用预期的风格图像，对渲染图像集内的渲染图像执行风格迁移，获得与渲染图像内容结构相同的风格化图像；利用风格化图像对应替换原始图像集中相应视角的图像，替换完成后组成监督图像集；比较监督图像集和渲染图像集内相同视角下图像的差异损失优化3D高斯。本申请可利用二维风格迁移方法的先验知识获得风格化图像，继而通过差异损失优化3D高斯，将风格化图像的风格信息转移到3D高斯场景中，实现3D高斯的场景风格迁移。
-
公开(公告)号：CN118505498A
公开(公告)日：2024-08-16
申请号：CN202410680199.0
申请日：2024-05-29
Applicant: 浙江大学
Inventor： 赵磊 , 张权威 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫俊程 , 马骋 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
IPC: G06T3/04 , G06T5/70 , G06T5/60 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种基于预训练扩散模型的二维图像风格迁移方法、计算机设备、可读存储介质和程序产品，方法包括：基于内容图像获得内容潜变量，基于风格图像获得风格潜变量，基于内容潜变量获得初始潜变量；将内容潜变量、风格潜变量和初始潜变量，三者同时输入预训练扩散模型，基于内容查询特征、风格键特征和风格值特征获得加权后的风格值特征，加权后的风格值特征用于在每轮解码过程中预测噪声；在预训练扩散模型的解码过程中，基于内容潜变量获得经过自注意力层内残差块输出的第一结果特征，基于初始潜变量获得经过自注意力层内残差块输出的第二结果特征；利用对比损失，约束和引导解码过程，使初始潜变量完成多轮地去除噪声后生成风格化图像。
-
公开(公告)号：CN119477713A
公开(公告)日：2025-02-18
申请号：CN202411316919.1
申请日：2024-09-20
Applicant: 浙江大学
Inventor： 赵磊 , 张占杰 , 马骋 , 莫竣程 , 林怀忠 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
Abstract: 本申请涉及一种基于矢量图的手绘草图合成方法、计算机设备和程序产品，手绘草图合成方法，包括：基于内容图像获得矢量图，基于矢量图渲染获得手绘草图；将随机噪声叠加至手绘草图得到带噪图像，将带噪图像输入至扩散模型；基于内容图像获得相应的文本描述，对内容图像进行边缘检测生成边缘图，将文本描述和边缘图两者的特征注入扩散模型，引导扩散模型生成自然图像；根据自然图像与带噪图像获得扩散模型生成自然图像过程中的预测噪声，根据预测噪声和随机噪声获得差值噪声；利用内容图像和手绘草图的差异损失，更新优化手绘草图；利用差值噪声，更新优化手绘草图。本申请提高了手绘草图相较于内容图像的内容结构和语义结构相似度。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.018 seconds)
