-
公开(公告)号:CN117670741A
公开(公告)日:2024-03-08
申请号:CN202311867399.9
申请日:2023-12-29
Applicant: 浙江大学
Abstract: 本申请涉及一种基于体素的神经辐射场的单掩膜修复方法、计算机设备、可读存储介质和程序产品,其中单掩膜修复方法包括:获得场景在不同视角下的若干输入视图,在体素网格中重建获得场景表示;在若干输入视图中获得其中的第一输入图,结合掩膜标注,获得移除物体并填充修复的第一修复图,掩膜标注的区域为物体位置;将第一输入图和掩膜标注,映射至体素网格,获得体素网格的待修复区域;根据第一输入图的视角,从体素网格渲染获得与第一输入图视角相对应的第一渲染图;根据掩膜、第一修复图和第一渲染图,监督训练待修复区域,获得训练完成的场景表示。本申请使用若输入视图和单张掩膜即可完成3D修复,训练完成的场景表示可输出不同视角的视图。
-
公开(公告)号:CN117274042A
公开(公告)日:2023-12-22
申请号:CN202311317134.1
申请日:2023-10-11
Applicant: 浙江大学
Abstract: 本申请涉及一种三维场景风格迁移方法、系统和计算机设备,用于将风格图像的风格迁移至三维场景并保持三维场景的几何结构,三维场景风格迁移方法包括:基于神经辐射场的三维场景,使用体素网格对风格模式空间和几何空间进行建模,获得所述神经辐射场在几何空间下的几何体,获得所述神经辐射场在风格模式空间下的球坐标、以及在视点方向下的外观;利用噪声图像提取风格图像的风格特征图,结合提示向量修正所述风格特征图,解码修正后的所述风格特征图获得风格模式;将所述球坐标对应至所述风格模式,耦合所述外观的颜色、以及所述风格模式的颜色,获得风格化颜色;将所述风格化颜色迁移至所述几何体,渲染获得视点方向下的三维风格迁移渲染图像。
-
公开(公告)号:CN116523733A
公开(公告)日:2023-08-01
申请号:CN202310086656.9
申请日:2023-01-13
Applicant: 浙江大学
IPC: G06T3/00 , G06N3/0455 , G06N3/096
Abstract: 本申请涉及一种图像跨域迁移方法、计算机设备、可读存储介质和程序产品,方法实施网络模型,模型训练过程包括:获得源域和目标域图像,提取源域图像的第一内容特征和第一风格向量,提取目标域图像的第二内容特征和第二风格向量;组合获得符合源域图像风格的第一风格迁移图像;组合获得符合目标域图像风格的第二风格迁移图像;提取第二风格迁移图像的内容特征、与第一风格向量组合获得第一源域重构图像;提取第一风格迁移图像的风格向量、与第一内容特征组合获得第二源域重构图像;当满足训练预期时,完成图像跨域迁移网络模型的训练,输出第一风格迁移图像和/或第二风格迁移图像。本申请一次训练可实现源域至目标域的转换和目标域至源域的转换。
-
公开(公告)号:CN119477713A
公开(公告)日:2025-02-18
申请号:CN202411316919.1
申请日:2024-09-20
Applicant: 浙江大学
Inventor: 赵磊 , 张占杰 , 马骋 , 莫竣程 , 林怀忠 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
Abstract: 本申请涉及一种基于矢量图的手绘草图合成方法、计算机设备和程序产品,手绘草图合成方法,包括:基于内容图像获得矢量图,基于矢量图渲染获得手绘草图;将随机噪声叠加至手绘草图得到带噪图像,将带噪图像输入至扩散模型;基于内容图像获得相应的文本描述,对内容图像进行边缘检测生成边缘图,将文本描述和边缘图两者的特征注入扩散模型,引导扩散模型生成自然图像;根据自然图像与带噪图像获得扩散模型生成自然图像过程中的预测噪声,根据预测噪声和随机噪声获得差值噪声;利用内容图像和手绘草图的差异损失,更新优化手绘草图;利用差值噪声,更新优化手绘草图。本申请提高了手绘草图相较于内容图像的内容结构和语义结构相似度。
-
公开(公告)号:CN119251501A
公开(公告)日:2025-01-03
申请号:CN202411316911.5
申请日:2024-09-20
Applicant: 浙江大学
Inventor: 赵磊 , 马骋 , 莫竣程 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
Abstract: 本申请涉及一种基于2D预训练分割模型监督的3D高斯全景分割方法、计算机设备和程序产品,3D高斯全景分割方法包括:将同一场景不同视角的多张输入图像输入至2D预训练分割模型,获得2D语义分割图和2D实例分割图,获得基于3D高斯场景的3D高斯初始表达,3D高斯初始表达是由多个高斯椭球随机初始化形成的场景;获得3D高斯初始表达在相应视角下投影获得的2D高斯表达;根据颜色信息获得第一生成图像,根据语义信息获得第二生成图像,根据实例信息获得第三生成图像;利用预设损失参数训练优化3D高斯场景表达,获得训练完成的3D高斯分割模型;基于3D高斯分割模型,获得3D高斯场景的语义分割信息和实例分割信息。
-
公开(公告)号:CN118505497A
公开(公告)日:2024-08-16
申请号:CN202410680196.7
申请日:2024-05-29
Applicant: 浙江大学
Inventor: 赵磊 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫俊程 , 马骋 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
IPC: G06T3/04 , G06T5/70 , G06T5/60 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种基于扩散模型的艺术风格迁移的方法、计算机设备、可读存储介质和程序产品,基于扩散模型的艺术风格迁移方法,包括:建立艺术风格迁移框架,所述艺术风格迁移框架基于扩散模型构建,所述艺术风格迁移框架用于将输入图片依次输入加噪模块、去噪模块以生成输出图片,所述去噪模块的去噪过程至少利用用于引导风格信息的提示矩阵执行;以多张相同风格信息的风格图片作为输入图片,输入至所述艺术风格迁移框架,比较输出图片和所述风格图片的风格差异,优化所述提示矩阵,直至满足预期,得到训练完成的艺术风格迁移框架;以内容图片作为输入图片,输入至训练完成的艺术风格迁移框架,输出保持原有内容且具备所述风格信息的风格化图片。
-
公开(公告)号:CN118015113A
公开(公告)日:2024-05-10
申请号:CN202311862018.8
申请日:2023-12-29
Applicant: 浙江大学
Abstract: 本申请涉及一种个性化文本到图像生成方法、计算机设备、可读存储介质和程序产品,个性化文本到图像生成方法用于根据含标识的第一文本提示生成图像,包括:根据第一文本提示获得第二文本提示和第三文本提示,第二文本提示表示生成标识的图像,第三文本提示表示标识的母类标识及所处环境;根据第一文本提示、第二文本提示和第三文本提示分别生成第一注意力图、第二注意力图和第三注意力图;同时分解第一注意力图和第二注意力图,对比迭代更新后获得对应标识的第一优化图;同时分解第一注意力图和第三注意力图,对比迭代更新后获得对应所处环境的第二优化图,将第一优化图和第二优化图重组后获得注意力结果图。
-
公开(公告)号:CN119251069B
公开(公告)日:2025-04-15
申请号:CN202411769124.6
申请日:2024-12-04
Applicant: 浙江大学计算机创新技术研究院
IPC: G06T5/50 , G06T5/60 , G06V10/774 , G06V10/80 , G06V10/82
Abstract: 本发明公开了一种基于局部和全局风格学习的图片高质量任意风格迁移方法。方法包括:获取若干内容图片和不同风格类型图片并构建为训练集;建立包含局部通道感知的注意力模块和全局风格融合模块的风格迁移网络,并构建基于补丁的风格迁移损失函数;将训练集输入风格迁移网络中进行训练直至基于补丁的风格迁移损失函数收敛;将待风格迁移的内容图片和目标风格类型图片输入训练完成的风格迁移网络中进行处理后输出风格化图片并在显示器进行显示,实现图片高质量风格迁移。本发明方法能够更好的从局部风格模式和全局风格分布的角度学习,进行任意风格迁移的同时生成高质量的风格化图片。
-
公开(公告)号:CN119228977A
公开(公告)日:2024-12-31
申请号:CN202411152857.5
申请日:2024-08-21
Applicant: 浙江大学
Inventor: 赵磊 , 马骋 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫竣程 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
IPC: G06T15/50 , G06T15/00 , G06T17/00 , G06N3/0499 , G06N3/08
Abstract: 本申请涉及一种基于3D高斯溅射的三维低照度场景增亮方法、计算机设备和程序产品,三维低照度场景增亮方法包括:在三维空间中设置若干支点,支点的属性包括支点位置属性、用于确定支点相关联高斯点位置的高斯点定位属性,用于确定支点相关联高斯点特征的外观属性和几何属性;由外观属性提取参与渲染的反射分量和照度分量;根据2D图像与3D高斯相应视角下渲染图像的差异,优化支点位置属性、高斯点定位属性、外观属性和几何属性;利用多层感知机从外观属性中提取伽玛值,获得增强照度分量;将反射分量与增强照度分量相乘获得高斯点颜色,通过体渲染得到不同视角下的亮度增强图像,根据亮度增强图像获得亮度增强损失优化多层感知机。
-
公开(公告)号:CN119205943A
公开(公告)日:2024-12-27
申请号:CN202411152864.5
申请日:2024-08-21
Applicant: 浙江大学
Inventor: 赵磊 , 马骋 , 林怀忠 , 张占杰 , 李光远 , 孙嘉锴 , 尹浩霖 , 蓝泽铧 , 莫竣程 , 张权威 , 王永康 , 陈嘉芙 , 褚天易 , 饶晨 , 焦涵 , 贾世安 , 张玮婧 , 邢卫
Abstract: 本申请涉及一种基于多分辨率码本的三维动态场景压缩方法、计算机设备和程序产品,三维动态场景压缩方法包括:利用同一动态场景不同时刻不同视角下的输入视图,重建获得基于空间中3D高斯点的三维动态场景,各3D高斯点具有高斯点属性;根据输入视图、以及相同时刻相同视角下三维场景的渲染图像,优化高斯点属性;将高斯点位置和动态场景时间均作为输入,获取高斯点属性变化量,将高斯点属性变化量叠加至高斯点属性,获得不同时刻的三维场景;根据变形场特征平面的分辨率数量对应地提供多个特征码本,特征码本用于与变形场特征平面同步地优化,特征码本的特征码本值用于与相应分辨率下的变形场特征平面中的特征值进行一对多的映射和替换。
-
-
-
-
-
-
-
-
-