公开(公告)号：CN119228998A

公开(公告)日：2024-12-31

申请号：CN202411232688.6

申请日：2024-09-04

Applicant: 浙江大学

Inventor： 邵天甲 ,  陆佳炜 ,  周昆

IPC: G06T17/00 ,  G06T15/06 ,  G06T7/194 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明公开一种基于稀疏的闪光图像重建人体几何和材质的方法，首先，构建并预训练包含图像特征提取网络、几何预测网络和材质预测网络的几何材质预测网络。然后，拍摄目标人物的闪光图像，从每个视角随机像素发射光线，使用球面追踪算法和预训练的几何预测网络，得到光线和场景的交点，使用预训练的材质预测网络得到交点的材质；基于交点的几何和材质属性，使用基于物理的可微分渲染计算交点的颜色，以接近实际像素颜色为目标，对几何材质预测网络进一步优化。最终，使用优化后的网络提取人体模型的几何和材质。本发明仅利用消费级设备暗光下拍摄的多视角闪光图像和相机位姿信息，即可在较短时间内得到高质量的、可重新照明的人体数字化资产。

公开(公告)号：CN114240991B

公开(公告)日：2024-07-26

申请号：CN202111547350.6

申请日：2021-12-16

Applicant: 浙江大学

Inventor： 邵天甲 ,  周昆

IPC: G06T7/136 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/09

Abstract: 本发明公开一种RGB图像的实例分割方法，该方法检测一张图像中的所有物体并预测它的掩码。该方法以现有的物体检测框架为基础，并在其基础上进行扩充，对于一张输入的RGB图像，本发明的方法通过神经网络为其预测两种嵌入特征，第一种特征是针对每个检测到的物体的，名为物体嵌入特征，另一种特征是针对图像中的像素的，名为像素嵌入特征。通过比较像素特征与物体特征的相似度，本发明就可以判断出该像素是否属于该物体的掩码。本发明的方法预测速度快、检测精度高、掩码质量好、流程简单。

公开(公告)号：CN118269149A

公开(公告)日：2024-07-02

申请号：CN202410408910.7

申请日：2024-04-07

Applicant: 浙江大学

Inventor： 邵天甲 ,  周昆 ,  彭哲晰

IPC: B25J19/00

Abstract: 本发明公开一种基于复数域差分的机器人主动扫描方法，该方法中全局地图通过维护一个截断符号距离场和一组面元表示机器人对未知环境的重建结果，使用复数域差分的技术，在机器人扫描过程中通过RGBD相机同时完成在线机器人定位与场景重建，将重建结果输入给神经网络获取场景的分割与物体识别结果。并利用复数域差分高效率、高精度计算重建过程中的微分信息，结合神经网络的微分信息，得到物体识别结果相对于机器人位姿的微分信息，通过端到端优化计算机器人的最优移动路径。本发明的方法能够实现高效率、高精度、高质量的机器人主动扫描。

公开(公告)号：CN118172491A

公开(公告)日：2024-06-11

申请号：CN202410435218.3

申请日：2024-04-11

Applicant: 浙江大学

Inventor： 李雨萌 ,  丁尧相 ,  任重 ,  周昆

IPC: G06T17/00 ,  G06V40/16 ,  G06N3/088 ,  G06N3/0455 ,  G06T19/20

Abstract: 本发明公开了一种基于文本输入的3D姿态生成与编辑的方法，该方法通过构建一个不同范式的端到端模型，利用前端大型语言模型将抽象语言提示转换为具体的中间表征(输入后端；后端优化处理中间表征由量化离散人体姿态先验及一种创新的量化离散隐空间优化器组成，以在人体姿态先验隐空间中以一种鲁棒的方式搜索最符合的姿态；借助于大语言模型广泛的知识，以及后端的鲁棒性，这克服了传统端到端模型面临的文本输入理解能力缺陷和泛化能力缺陷，显著改善了姿态生成这一基础且复杂任务的效率以及操作门槛。同时，还实现了基于语言的手势、表情生成和编辑，填补了人体姿态生成模型在表情和手势上的空缺，大大增强了生成和编辑结果的真实性和生动性。

公开(公告)号：CN118154781A

公开(公告)日：2024-06-07

申请号：CN202410306776.X

申请日：2024-03-18

Applicant: 浙江大学

Inventor： 吴鸿智 ,  毕邹彬 ,  曾一欣 ,  周昆

IPC: G06T17/00 ,  G06N3/0455 ,  G06T7/80 ,  G06N3/084 ,  G06N3/0464 ,  G06N3/048 ,  G06T1/00

Abstract: 本发明公开了一种基于神经结构光照的实时采集与重建方法。本发明的核心是一个由编码器、解码器和聚合模块组成的深度神经网络，其编码器在采集期间直接应用到结构光照明，解码器从单像素测量预测一维密度分布并插值到三维体积密度，聚合模块将预测的多个三维体积密度组合成最终的三维体积密度。该网络可以实现实际采集方式和重构算法的自动联合优化，通过使用训练优化的结构光图案和网络，该方法能够实时重建高质量的体积密度，解决了对三维现象的实时重建问题。该方法可以灵活适应不同的低成本硬件配置，解决了高质量实时三维现象的采集依赖专用设备导致的成本高昂问题。

公开(公告)号：CN117671108A

公开(公告)日：2024-03-08

申请号：CN202311678774.5

申请日：2023-12-07

Applicant: 浙江大学

Inventor： 周昆 ,  叶可扬 ,  邵天甲 ,  翁彦琳

IPC: G06T15/00 ,  G06T7/73 ,  G06T17/00

Abstract: 本发明公布了一种基于三维高斯的动态人体建模方法。本方法先给定一段多视角的人体视频，为了针对动态人体外观进行修正与变换，对每个高斯附加上了一个隐编码与一组混合权重；将隐编码与目标姿势被输入到一个MLP以在规范空间下修正高斯去捕捉在目标姿态下的外观变化。经修正的高斯通过它们的混合权重以线性混合蒙皮(Linear Blend Skinning，LBS)的方式被变换到目标姿势。最后，在新视角或新姿势下的逼真人体图像可以通过高斯泼溅(Gaussian Splatting)的方式实时渲染。与目前基于隐式神经场(Neural Radiance Field，NeRF)的方法相比，本发明的三维高斯表达可以更好的捕捉到高频细节，并且达到最优的渲染性能。

公开(公告)号：CN116645497A

公开(公告)日：2023-08-25

申请号：CN202310783568.4

申请日：2023-06-29

Applicant: 浙江大学 ,  杭州相芯科技有限公司

Inventor： 吴鸿智 ,  周昆 ,  马晓鹤

IPC: G06V10/10 ,  G06V10/774 ,  G06V10/82 ,  G06F16/51 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于神经网络的平面材质数据库的采集方法和系统，该方法包括训练阶段、采集阶段和重建阶段，本发明设计了一个神经网络，包含优化光照图案部分，门网络部分，专家网络部分和非线性映射网络部分；通过在光照图案照射下拍摄的目标材质照片中的信息，门网络可以自适应地选择最佳的专家网络预测材质空间独立的反射属性的隐向量表达，隐向量通过在一组其他光照图案下拍摄的照片的约束下被进一步优化，最后将隐向量通过非线性映射网络恢复为高维Lumitexel向量，拟合到BRDF模型中，其参数被存储为纹理图。本方法可以鲁棒地、高质量地和高效率地采集近平面的各向异性的SVBRDFs。

公开(公告)号：CN116580142A

公开(公告)日：2023-08-11

申请号：CN202310556067.2

申请日：2023-05-17

Applicant: 浙江大学 ,  沐曦集成电路(上海)有限公司

Inventor： 薛冯晨 ,  侯启明 ,  任重 ,  张雷雷 ,  周昆

IPC: G06T15/06 ,  G06T15/00 ,  G06T1/20 ,  G06T1/60 ,  G06T9/40

Abstract: 本发明公开了一种基于压缩层次包围盒的光线簇与三维场景求交方法，在基于常规层次包围盒的基础上针对硬件多级缓存和单指令流多数据流的特性优化了数据表示。本发明使用坐标系变换的方式将树状层次包围盒中结点的单个包围盒坐标用8比特无符号整数表示；使用基于三维莫顿码的预排序来指导遍历子结点的先后顺序；使用光线簇来利用单指令流多数据流特性，减少内存访问开销。相比于已有的空间加速结构，该方法压缩了包围盒的存储空间，对硬件的访存模式更加友好；该方法使用了预排序的算法，节省了判断子空间包围盒在光线方向上前后关系的时间；该方法使用了光线簇和单指令流多数据流，充分利用了并行性。

公开(公告)号：CN116385606A

公开(公告)日：2023-07-04

申请号：CN202211621760.5

申请日：2022-12-16

Applicant: 浙江大学 ,  杭州相芯科技有限公司

Inventor： 周昆 ,  柴宇进 ,  翁彦琳 ,  邵天甲

IPC: G06T13/40 ,  G10L21/10 ,  G10L25/57 ,  G10L15/02 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及人脸动画领域，尤其涉及一种语音信号驱动的个性化三维人脸动画生成方法及其应用。一种语音信号驱动的个性化三维人脸动画生成方法，对于目标人物的正脸演讲视频重建三维人脸动作序列，并从视频的语音信号中提取语音特征序列；通过一个解耦网络将所重建的三维人脸动作序列分解为内容特征序列和个性化风格特征两部分，其中内容特征序列包含三维人脸动作中语音内容发音所需的必要动作信息，个性化风格特征包含三维人脸动作中反应人物个性的风格信息；同时通过另一个语音动画网络将所分解的个性化风格特征与所提取的语音特征序列相结合，生成个性化三维人脸动画。

公开(公告)号：CN111652963B

公开(公告)日：2023-05-02

申请号：CN202010377561.9

申请日：2020-05-07

Applicant: 浙江大学 ,  杭州相芯科技有限公司

Inventor： 周昆 ,  侯启明 ,  任重 ,  马晟杰 ,  申乾

IPC: G06T15/50 ,  G06T15/60 ,  G06T15/04 ,  G06T15/00 ,  G06T15/06 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于神经网络的增强现实绘制方法。该方法主要分为六个步骤：环境光照估计、表面粗糙度估计、虚拟对象及平面的图层绘制、反射层的优化、阴影层的优化和图层的线性混合。本发明首次将复杂反射和阴影效果带入增强现实绘制，达到当前最先进的水平。本发明可应用于增强现实平台，提升在真实场景中虚拟对象的绘制质量和真实感。