-
公开(公告)号：CN114493991A
公开(公告)日：2022-05-13
申请号：CN202111547284.2
申请日：2021-12-16
Applicant: 之江实验室 , 中科计算技术创新研究院
Abstract: 本发明公开了一种基于注意力循环对抗网络的风格迁移系统、方法、装置，该方法首先选取两张不同风格图像的A,B图像输入网络；对A图像随机嵌套式剪裁多个小块输入多尺度块transformer编码器学习特征，通过反卷积和上采样逐层融合低维全局信息，最后融合动态过滤后的高维全局信息生成迁移结果；通过循环对抗的方式，同时训练A2B和B2A的映射；引入基于块的判别器和内容损失函数训练收敛，最终完成A,B的风格互相迁移。本发明首次提出了基于循环对抗网络的零次学习风格迁移方法，利用嵌套式剪裁小块挖掘块内部和块之间的关系特征，可以生成真实合理的迁移效果。优于现有方法，具有通用性强、数据依赖性小，风格生成个性化强等优点。
-
公开(公告)号：CN114845067B
公开(公告)日：2022-11-04
申请号：CN202210779300.9
申请日：2022-07-04
Applicant: 中科计算技术创新研究院
Abstract: 本发明涉及一种基于隐空间解耦的人脸编辑的深度视频传播方法。本发明的技术方案为：获取待编辑视频和编辑帧，其中待编辑视频中至少一帧视频帧包含人脸图像，所述编辑帧为对待编辑视频中包含人脸图像的视频帧进行人脸编辑后得到；从待编辑视频的视频帧和编辑帧中裁剪出人脸图像并对齐面部，得到视频帧和编辑帧各自的面部对齐图像；基于视频帧和编辑帧的面部对齐图像获取视频帧和编辑帧各自的3DMM参数。本发明适用于计算机视觉、计算机图形学领域。本发明通过将对齐的人脸图像深度解耦到生成模型的隐空间中，实现动作、外貌、几何的解耦，进而修改需要传播的几何、外貌属性而不影响原视频的动作内容，实现视频上的人脸编辑传播。
-
公开(公告)号：CN114429538B
公开(公告)日：2022-07-12
申请号：CN202210340649.2
申请日：2022-04-02
Applicant: 中科计算技术创新研究院
Abstract: 本发明涉及一种交互式编辑神经辐射场几何的方法，为：利用物体对象的多视角图像训练神经辐射场网络，建立神经辐射场表示；从物体对象的神经辐射场表示提取显式的三角网格表示；基于三角网格表示生成包裹三角网格表示的四面体网格表示；将三角网格表示变为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示；在四面体网格表示上查找三角网格表示上每个三角网格顶点所在的四面体，将四面体网格表示变换为变形后四面体网格表示；利用变形前后四面体网格表示的对应关系，得到变形前后四面体四个顶点的位移；通过对四面体四个顶点的位移进行重心插值，得到光线采样点的位移；基于光线采样点的位移对光线进行弯曲，渲染生成神经辐射场图像。
-
公开(公告)号：CN112991484B
公开(公告)日：2021-09-03
申请号：CN202110466411.X
申请日：2021-04-28
Applicant: 中科计算技术创新研究院
Abstract: 本发明涉及一种智能人脸编辑方法、装置、存储介质及设备。适用于计算机视觉、计算机图形学领域。提供一种智能人脸编辑方法、装置、存储介质及设备。本发明所采用的技术方案是：一种智能人脸编辑方法，其特征在于：将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征；局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图；通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。
-
公开(公告)号：CN113706714B
公开(公告)日：2024-01-05
申请号：CN202111033534.0
申请日：2021-09-03
Applicant: 中科计算技术创新研究院
IPC: G06T17/20 , G06T15/00 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于深度图像和神经辐射场的新视角合成方法。适用于计算机图形学以及深度学习领域。本发明的技术方案为：一种基于深度图像和神经辐射场的新视角合成方法，其特征在于：获取场景多个视角的真实RGB‑D图像；基于场景多个视角的RGB‑D图像生成该场景完整的场景彩色点云，场景彩色点云中每个点的颜色值与RGB‑D图像相应位置的颜色对应；基于场景完整的场景彩色点云生成该场景带颜色的三角网格表示；渲染带颜色的三角网格表示生成大量渲染图像；利用渲染图像作为网络真值预训练神经辐射场网络；利用所述RGB‑D图像对应的真实RGB图像作为网络真值继续训练所述神经辐射场网络；通过经渲染图像和RGB图像训练的神经辐射场网络生成指定新视角的图像。(56)对比文件Aihua Mao.STD-Net: Structure-preserving and Top ology-adaptiveDeformation Network for 3D Reconstructionfrom a Single Image《.arXiv》.2020,1-14.Ben Mildenhall.NeRF: RepresentingScenes as Neural Radiance Fields for ViewSynthesis《.ECCV》.2020,99-108.R.M. Lacher.Nonrigid reconstructionof 3D breast surfaces with a low-costRGBD camera for surgical planning andaesthetic evaluation《.Medical ImageAnalysis》.2019,11-25.徐超.基于新视角合成的视频摘要交互式浏览《.电子学报》.2015,2263-2270.常远.基于神经辐射场的视点合成算法综述《.图学学报》.2021,376-384.
-
Patent Agency Ranking
公开(公告)号：CN114429538A
公开(公告)日：2022-05-03
申请号：CN202210340649.2
申请日：2022-04-02
Applicant: 中科计算技术创新研究院
Abstract: 本发明涉及一种交互式编辑神经辐射场几何的方法，为：利用物体对象的多视角图像训练神经辐射场网络，建立神经辐射场表示；从物体对象的神经辐射场表示提取显式的三角网格表示；基于三角网格表示生成包裹三角网格表示的四面体网格表示；将三角网格表示变为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示；在四面体网格表示上查找三角网格表示上每个三角网格顶点所在的四面体，将四面体网格表示变换为变形后四面体网格表示；利用变形前后四面体网格表示的对应关系，得到变形前后四面体四个顶点的位移；通过对四面体四个顶点的位移进行重心插值，得到光线采样点的位移；基于光线采样点的位移对光线进行弯曲，渲染生成神经辐射场图像。
-
公开(公告)号：CN113470182A
公开(公告)日：2021-10-01
申请号：CN202111029442.5
申请日：2021-09-03
Applicant: 中科计算技术创新研究院
Abstract: 本发明涉及一种人脸几何特征编辑方法及深度人脸重塑编辑方法，为：获取几何基础人脸图像，从几何基础人脸图像上检测出人脸关键点；根据几何基础人脸图像上五官位置将人脸关键点连接成网格，将网格输入图卷积变分自动编码器进行编码；图卷积变分自动编码器在人脸数据集上针对人脸关键点训练而成，将自然人脸脸型参数化，使其隐空间的特征能解码出自然光滑且符合人脸几何特征的人脸关键点；获取人脸关键点中用户确定的不动点和经用户拖动的拖动点，图卷积变分自动编码器根据拖动点拖动前后坐标差和不动点位置优化人脸关键点中其余点位置和人脸关键点连接成的网格；将优化出的网格渲染成人脸几何特征图。本发明适用于计算机视觉、计算机图形学领域。
-
公开(公告)号：CN114845067A
公开(公告)日：2022-08-02
申请号：CN202210779300.9
申请日：2022-07-04
Applicant: 中科计算技术创新研究院
Abstract: 本发明涉及一种基于隐空间解耦的人脸编辑的深度视频传播方法。本发明的技术方案为：获取待编辑视频和编辑帧，其中待编辑视频中至少一帧视频帧包含人脸图像，所述编辑帧为对待编辑视频中包含人脸图像的视频帧进行人脸编辑后得到；从待编辑视频的视频帧和编辑帧中裁剪出人脸图像并对齐面部，得到视频帧和编辑帧各自的面部对齐图像；基于视频帧和编辑帧的面部对齐图像获取视频帧和编辑帧各自的3DMM参数。本发明适用于计算机视觉、计算机图形学领域。本发明通过将对齐的人脸图像深度解耦到生成模型的隐空间中，实现动作、外貌、几何的解耦，进而修改需要传播的几何、外貌属性而不影响原视频的动作内容，实现视频上的人脸编辑传播。
-
公开(公告)号：CN114283245B
公开(公告)日：2022-06-14
申请号：CN202210207907.X
申请日：2022-03-04
Applicant: 中科计算技术创新研究院
Abstract: 本发明涉及一种基于三维模型层次化隐式场的渲染方法，其特征在于：S1、基于三维对象的源数据构建八叉树，计算八叉树节点所代表空间内三维对象表面的存在性和几何复杂性；当八叉树节点所代表空间内存在三维对象表面且表面几何复杂性大于预设值时将该节点切分成子节点，直至几何复杂性小于等于预设值；S2、采用光线步进算法处理三维对象，将光线步进算法中的光线与存在三维对象表面的八叉树节点相交处作为该条光线上的初始采样点；S3、计算光线步进算法中光线与三维对象表面相交位置的梯度，得到该相交位置的法向；S4、将光线与三维对象表面的相交位置和该相交位置的法向加入经典光照模型对三维对象进行渲染。本发明适用于三维模型渲染领域。
-
公开(公告)号：CN114283245A
公开(公告)日：2022-04-05
申请号：CN202210207907.X
申请日：2022-03-04
Applicant: 中科计算技术创新研究院
Abstract: 本发明涉及一种基于三维模型层次化隐式场的渲染方法，其特征在于：S1、基于三维对象的源数据构建八叉树，计算八叉树节点所代表空间内三维对象表面的存在性和几何复杂性；当八叉树节点所代表空间内存在三维对象表面且表面几何复杂性大于预设值时将该节点切分成子节点，直至几何复杂性小于等于预设值；S2、采用光线步进算法处理三维对象，将光线步进算法中的光线与存在三维对象表面的八叉树节点相交处作为该条光线上的初始采样点；S3、计算光线步进算法中光线与三维对象表面相交位置的梯度，得到该相交位置的法向；S4、将光线与三维对象表面的相交位置和该相交位置的法向加入经典光照模型对三维对象进行渲染。本发明适用于三维模型渲染领域。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.049 seconds)
