-
公开(公告)号：CN118520134A
公开(公告)日：2024-08-20
申请号：CN202410680204.8
申请日：2024-05-29
Applicant: 浙江大学
Inventor： 赵磊 , 栾俊升 , 张权威 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫俊程 , 马骋 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
IPC: G06F16/58 , G06N3/0464 , G06N3/048 , G06N3/08 , G06T5/70
Abstract: 本申请涉及一种基于预训练文生图模型的生成含有预期标识图像的方法、计算机设备、可读存储介质和程序产品。方法包括：获得含有预期标识的参考图像，对参考图像依次执行定向编码和反向重建，在反向重建的过程中抽取获得第一自注意力图；获得随机噪声、以及含有预期标识文本的提示句，将随机噪声、提示句输入至预训练文生图模型；在对随机噪声去噪的过程中，将第一自注意力图注入更新相应位置的第二注意力图，引导预训练文生图模型生成含有预期标识的图像。本申请利用第一注意力图，注入更新相应位置的第二注意力图，对生成内容进行细粒度结构特征引导，生成含有预期标识文本提示句所对应的图像时，更好地保留了预期标识的结构和外观特征。
-
公开(公告)号：CN118014821A
公开(公告)日：2024-05-10
申请号：CN202311853046.3
申请日：2023-12-29
Applicant: 浙江大学
IPC: G06T3/04 , G06T5/60 , G06T5/70 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种基于大模型风格先验知识的风格迁移方法、计算机设备、可读存储介质和程序产品，风格迁移方法包括：构建编码器‑解码器结构，训练完成后用于将风格图片的艺术风格迁移至内容图片以生成风格化图片，编码器‑解码器结构的训练过程包括：将内容图片输入编码器获得内容特征，将风格图片输入编码器获得风格特征，将内容特征和风格特征输入风格化模块耦合后获得风格化特征，将风格化特征输入至解码器使解码器输出第一风格化图片；调整预训练扩散模型获得具备风格先验的艺术扩散模型，艺术扩散模型可根据第一风格化图片生成第二风格化图片，对比第一风格化图片和第二风格化图片的差异，训练编码器‑解码器结构直至达成预期。
-
公开(公告)号：CN119477668A
公开(公告)日：2025-02-18
申请号：CN202411316915.3
申请日：2024-09-20
Applicant: 浙江大学
Inventor： 赵磊 , 李光远 , 马骋 , 莫竣程 , 林怀忠 , 张占杰 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
IPC: G06T3/04 , G06V10/44 , G06V10/774 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种基于扩散模型的虚拟试穿方法、计算机设备和程序产品，虚拟试穿方法包括：获得服装图以及模特图，分别获得姿势图、深度图、掩码图、模特潜特征及服装潜特征，同时输入至第一控制网络和第二控制网络；将姿势图和服装图卷积后获得姿势特征图，将随机噪声、模特潜特征、姿势特征图结合后输入第一控制网络，第一控制网络输出姿势控制向量；将深度图和服装图卷积后获得深度特征图，将随机噪声、模特潜特征、深度特征图结合后输入第二控制网络，第二控制网络输出深度控制向量；向第一扩散模型的中间层和解码器中注入姿势控制向量和深度控制向量使输出试穿图像；比较试穿图像和模特图的差异损失，训练第一控制网络和第二控制网络。
-
公开(公告)号：CN119251069A
公开(公告)日：2025-01-03
申请号：CN202411769124.6
申请日：2024-12-04
Applicant: 浙江大学计算机创新技术研究院
IPC: G06T5/50 , G06T5/60 , G06V10/774 , G06V10/80 , G06V10/82
Abstract: 本发明公开了一种基于局部和全局风格学习的图片高质量任意风格迁移方法。方法包括：获取若干内容图片和不同风格类型图片并构建为训练集；建立包含局部通道感知的注意力模块和全局风格融合模块的风格迁移网络，并构建基于补丁的风格迁移损失函数；将训练集输入风格迁移网络中进行训练直至基于补丁的风格迁移损失函数收敛；将待风格迁移的内容图片和目标风格类型图片输入训练完成的风格迁移网络中进行处理后输出风格化图片并在显示器进行显示，实现图片高质量风格迁移。本发明方法能够更好的从局部风格模式和全局风格分布的角度学习，进行任意风格迁移的同时生成高质量的风格化图片。
-
公开(公告)号：CN118573978A
公开(公告)日：2024-08-30
申请号：CN202410680197.1
申请日：2024-05-29
Applicant: 浙江大学
Inventor： 赵磊 , 焦涵 , 贾世安 , 林怀忠 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫俊程 , 马骋 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 张占杰 , 李光远 , 张玮婧 , 王欣宇 , 邢卫
IPC: H04N21/8549 , H04N21/81 , G06T15/00 , G06T17/00
Abstract: 本申请涉及一种基于3D高斯的高效流式传输的低比特率自由视点视频生成方法、计算机设备、可读存储介质和程序产品。生成方法包括：构建基于3D高斯的三维场景，3D高斯包括在初始帧构建的结构化3D高斯、以及在后续帧出现的自由3D高斯，3D高斯具有源于结构化3D高斯的第一类位置点、以及源于自由3D高斯的第二类位置点；将每个锚点关联至相应组别内所有的第一类位置点，使被关联的第一类位置点依附于相应的锚点；对于任意一组，获得锚点自身信息、以及关联信息，将二者映射至结构化3D高斯的协方差矩阵；逐帧优化3D高斯，包括间接优化第一类位置点及其属性、以及直接优化第二类位置点及其属性，渲染得到后续帧图像。
-
Patent Agency Ranking
公开(公告)号：CN118520133A
公开(公告)日：2024-08-20
申请号：CN202410680203.3
申请日：2024-05-29
Applicant: 浙江大学
Inventor： 赵磊 , 栾俊升 , 张权威 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫俊程 , 马骋 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
Abstract: 本申请涉及一种基于预训练文生图模型双向微调的生成含预期标识图像的方法、计算机设备和可读存储介质，方法包括：获得类泛化图像、以及与类泛化图像对应的类泛化提示句；对类泛化提示句附加第一权重的预期标识文本获得第一提示句，对类泛化提示句附加第二权重的预期标识文本获得第二提示句；获取与第一提示句相对应的第一生成图像；获取与第二提示句相对应的第二生成图像；利用预设损失参数微调预训练文生图模型，预设损失参数包括第一预设损失和第二预设损失，第一预设损失为含预期标识的参考图像及第一生成图像两者的差异损失，第二预设损失为类泛化图像及第二生成图像两者的差异损失；利用微调后的预训练文生图模型，重新获得第一生成图像。
-
公开(公告)号：CN119206051A
公开(公告)日：2024-12-27
申请号：CN202411152867.9
申请日：2024-08-21
Applicant: 浙江大学
Inventor： 赵磊 , 马骋 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫竣程 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
Abstract: 本申请提供一种基于3D高斯溅射的稀疏输入场景重建方法及计算机程序产品，基于3D高斯溅射的稀疏输入场景重建方法包括：将同一场景不同视角的2D图像输入colmap软件，获得3D高斯的初始化点云，初始化点云用于确定场景重建开始时的高斯点数量与属性；获得高斯点A和高斯点B的衡量距离，高斯点A为任意一个高斯点，高斯点B为与高斯点A最邻近的高斯点；若衡量距离大于第一阈值，则在高斯点A和高斯点B之间添加高斯点C；基于2D图像规范3D高斯的场景重建，获得重建的三维场景。本申请补充添加了高斯点C之后，初始化点云得以完善，减少了三维场景重建时对大量输入图片的依赖，在三维场景重建优化的过程中，使重建的三维场景保持较好的丰富度。
-
公开(公告)号：CN118158489A
公开(公告)日：2024-06-07
申请号：CN202410261768.8
申请日：2024-03-07
Applicant: 浙江大学
IPC: H04N21/81 , H04N21/44 , H04N21/466 , H04N5/272
Abstract: 本申请涉及一种基于3D高斯模型实现的高效流式传输自由视点视频生成方法、计算机设备和程序产品，高效流式传输自由视点视频生成方法，包括：获得三维场景前一帧的3D高斯模型，3D高斯模型为3D高斯的集合，对于一个3D高斯，其包括空间上的一个位置点、以及该位置点属性；构建包括感知机的神经网络，位置点以位置哈希编码的方式记录，感知机接收位置哈希编码，并将位置哈希编码映射为3D高斯的属性变化，属性变化包括用来表示3D高斯位移的第一部分、以及用来表示3D高斯旋转的第二部分；在后一帧利用3D高斯位移、以及3D高斯旋转，更新3D高斯，渲染得到参考图像；利用参考图像和样本图像的损失，优化神经网络，利用优化后的神经网络生成后帧图像。
-
公开(公告)号：CN118014822A
公开(公告)日：2024-05-10
申请号：CN202311868166.0
申请日：2023-12-29
Applicant: 浙江大学
IPC: G06T3/04 , G06N3/0455 , G06N3/0464 , G06N3/0895
Abstract: 本申请涉及一种基于对比学习和注意力机制的风格迁移方法、计算机设备、可读存储介质和程序产品，风格迁移方法包括：构建包括编码器、解码器的编码器‑解码器结构，编码器‑解码器结构在训练完成后用于将风格图像的艺术风格迁移至内容图像以生成风格化图像，训练过程包括：将内容图像输入第一编码器获得内容特征，将风格图像输入第一编码器获得局部风格特征，将风格图像输入第二编码器获得全局风格特征；将局部风格特征和全局风格特征耦合后获得局部‑全局风格特征；将局部‑全局风格特征和内容特征耦合后获得风格化特征；将风格化特征输入解码器获得风格化图像，根据风格化图像和风格图像的风格差异损失，训练编码器‑解码器结构直至达成预期。
-
公开(公告)号：CN117830154A
公开(公告)日：2024-04-05
申请号：CN202410022360.5
申请日：2024-01-05
Applicant: 浙江大学
IPC: G06T5/73 , G06N3/0464 , G06N3/0455 , G06N3/045 , G06N3/084
Abstract: 本申请涉及一种基于潜变量先验知识引导的视频去模糊方法、计算机设备、可读存储介质和程序产品，视频去模糊方法包括利用训练完成的变换网络将模糊视频去模糊后输出，变换网络的训练过程包括：获得清晰视频、以及与清晰视频相对应的模糊视频；将清晰视频输入第一编码器获得真实特征，对真实特征添加噪声后输入去噪网络；将模糊视频输入第二编码器获得条件特征，将条件特征输入去噪网络；以条件特征为条件，以真实特征为目标，使去噪网络输出先验特征；将模糊视频输入变换网络，利用先验特征训练变换网络，直至达成预期。本申请扩散模型并不直接用于将模糊视频去模糊后输出清晰视频，而是利用扩散模型训练变换网络，节省了计算资源。
-
-
-
-
-
-
-
-
-
Search Results
22
records
(took 0.017 seconds)
