一种十亿像素虚拟现实视频采集装置、系统与方法

    公开(公告)号:CN111343367A

    公开(公告)日:2020-06-26

    申请号:CN202010095418.0

    申请日:2020-02-17

    Abstract: 本发明提供一种十亿像素虚拟现实视频采集装置、系统与方法,装置包括:非结构化的相机阵列、支撑件、相机云台、相机机架;所述相机阵列包括至少5列呈扇形分布的相机列组合,每一个所述相机列组合包括两个全局相机为一组组成的双目相机和至少一个局部相机,所述局部相机的焦距可调;所述支撑件,用于支撑所述相机云台,所述相机云台,与所述相机机架连接;所述相机机架,用于通过连接件分别固定所述相机阵列中的每一列所述相机列组合。使用结构自适应非结构化的全景360虚拟现实采集装置;并将局部相机的视频数据中的RGB图像嵌入所述全景图,用户能够拉近视角放大观察感兴趣区域的细节信息。

    联合刚性运动和非刚性形变的三维重建方法及装置

    公开(公告)号:CN108711185A

    公开(公告)日:2018-10-26

    申请号:CN201810460091.5

    申请日:2018-05-15

    CPC classification number: G06T17/00 G06T7/521 G06T2207/10012

    Abstract: 本发明公开了一种联合刚性运动和非刚性形变的三维重建方法及装置,其中,方法包括:对目标对象进行基于深度相机的拍摄得到单张深度图像;通过三维骨架提取算法对深度点云进行三维骨架提取;获取三维点云和重建模型顶点之间的匹配点对;根据匹配点对和三维骨架信息建立能量函数,并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数;对能量函数进行GPU优化求解,以获得每个表面顶点的非刚性形变,并根据求解结果将前一帧的重建三维模型进行形变,使得形变模型与当前帧三维点云进行对齐;获得当前帧的更新后的模型,以进入下一帧的迭代。该方法可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。

    联合刚性运动和非刚性形变的三维重建方法及装置

    公开(公告)号:CN108711185B

    公开(公告)日:2021-05-28

    申请号:CN201810460091.5

    申请日:2018-05-15

    Abstract: 本发明公开了一种联合刚性运动和非刚性形变的三维重建方法及装置,其中,方法包括:对目标对象进行基于深度相机的拍摄得到单张深度图像;通过三维骨架提取算法对深度点云进行三维骨架提取;获取三维点云和重建模型顶点之间的匹配点对;根据匹配点对和三维骨架信息建立能量函数,并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数;对能量函数进行GPU优化求解,以获得每个表面顶点的非刚性形变,并根据求解结果将前一帧的重建三维模型进行形变,使得形变模型与当前帧三维点云进行对齐;获得当前帧的更新后的模型,以进入下一帧的迭代。该方法可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。

    联合优化人体体态与外观模型的三维重建方法及系统

    公开(公告)号:CN108665537B

    公开(公告)日:2020-09-25

    申请号:CN201810460079.4

    申请日:2018-05-15

    Abstract: 本发明公开了一种联合优化人体体态与外观模型的三维重建方法及系统,其中,方法包括以下步骤:对人体进行深度图拍摄,以得到单张深度图像;将单张深度图像变换为三维点云,并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对;根据匹配点对建立能量函数,并共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数;对能量函数进行求解,并根据求解结果将重建模型与三维点云进行对齐;通过深度图更新和补全对齐后的模型,以进行实时人体动态三维重建。该方法可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。

    一种十亿像素虚拟现实视频采集装置、系统与方法

    公开(公告)号:CN111343367B

    公开(公告)日:2021-06-08

    申请号:CN202010095418.0

    申请日:2020-02-17

    Abstract: 本发明提供一种十亿像素虚拟现实视频采集装置、系统与方法,装置包括:非结构化的相机阵列、支撑件、相机云台、相机机架;所述相机阵列包括至少5列呈扇形分布的相机列组合,每一个所述相机列组合包括两个全局相机为一组组成的双目相机和至少一个局部相机,所述局部相机的焦距可调;所述支撑件,用于支撑所述相机云台,所述相机云台,与所述相机机架连接;所述相机机架,用于通过连接件分别固定所述相机阵列中的每一列所述相机列组合。使用结构自适应非结构化的全景360虚拟现实采集装置;并将局部相机的视频数据中的RGB图像嵌入所述全景图,用户能够拉近视角放大观察感兴趣区域的细节信息。

    联合优化人体体态与外观模型的三维重建方法及系统

    公开(公告)号:CN108665537A

    公开(公告)日:2018-10-16

    申请号:CN201810460079.4

    申请日:2018-05-15

    Abstract: 本发明公开了一种联合优化人体体态与外观模型的三维重建方法及系统,其中,方法包括以下步骤:对人体进行深度图拍摄,以得到单张深度图像;将单张深度图像变换为三维点云,并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对;根据匹配点对建立能量函数,并共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数;对能量函数进行求解,并根据求解结果将重建模型与三维点云进行对齐;通过深度图更新和补全对齐后的模型,以进行实时人体动态三维重建。该方法可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。

    智能光计算片上元学习训练方法、架构与系统

    公开(公告)号:CN119940486A

    公开(公告)日:2025-05-06

    申请号:CN202510423251.9

    申请日:2025-04-07

    Applicant: 清华大学

    Abstract: 本公开涉及光计算技术领域,尤其涉及一种智能光计算片上元学习训练方法、架构与系统。光电计算系统包括至少一个光电混合芯片架构,光电混合芯片架构包括衍射模块和马赫增德尔干涉器阵列,该方法包括:基于目标数据域对衍射模块中的衍射神经网络进行预训练,并固化预训练后的衍射神经网络,得到不可重构衍射模块;响应于接收到目标数据域对应的目标光计算任务,在目标数据域中获取目标光计算任务对应的目标数据集;基于目标数据集对马赫增德尔干涉器阵列中每个马赫增德尔干涉器的相位进行训练,得到训练后的马赫增德尔干涉器阵列。采用上述方案的本公开可以提高光电计算系统的训练效率。

    大规模可重构衍射光计算芯片系统与架构

    公开(公告)号:CN119940442A

    公开(公告)日:2025-05-06

    申请号:CN202510423244.9

    申请日:2025-04-07

    Applicant: 清华大学

    Inventor: 方璐 戴琼海 王超

    Abstract: 本公开涉及光计算技术领域,尤其涉及一种大规模可重构衍射光计算芯片系统与架构。其中,该系统包括:获取模块,用于获取需要计算的第一大矩阵和第二大矩阵;计算分解模块,用于对第一大矩阵和第二大矩阵进行计算分解,得到多个分解矩阵;计算模块,用于基于多个分解矩阵,通过衍射计算阵列进行矩阵计算得到目标输出结果。本公开通过对衍射计算阵列的灵活调整,实现对计算网络架构的灵活调整,以突破单个可重构衍射计算核的计算规模限制,进而实现计算规模的极大提升,可以在各类大型复杂应用场景中灵活应用。

    深度光神经网络模型、架构与系统

    公开(公告)号:CN119886244A

    公开(公告)日:2025-04-25

    申请号:CN202510379736.2

    申请日:2025-03-28

    Applicant: 清华大学

    Abstract: 本公开涉及光计算技术领域,尤其涉及一种深度光神经网络模型、架构与系统。其中,该模型包括:光学计算模块集合,其中,光学计算模块集合中光学计算模块之间的连接方式由目标计算任务确定,光学计算模块中包括光学计算矩阵,光学计算矩阵的行数和列数由目标计算任务确定。采用上述方案的本公开可以通过光学计算模块实现高参数量的复杂智能模型。

    完全可重构通用智能光计算芯片架构与系统

    公开(公告)号:CN119882931A

    公开(公告)日:2025-04-25

    申请号:CN202510379735.8

    申请日:2025-03-28

    Applicant: 清华大学

    Abstract: 本公开涉及光计算技术领域,尤其涉及一种完全可重构通用智能光计算芯片架构与系统。其中,该架构包括:发射模块,用于对目标任务对应的第一宽带光中每一种第一单波长光进行分束,得到并发射至少一个单波长分束光集合;接收模块,用于接收至少一个单波长分束光集合,并根据目标任务对应的光学传播矩阵对至少一个单波长分束光集合进行矩阵计算,得到光计算后的第二宽带光,其中,单波长分束光集合与光学传播矩阵中的行一一对应,单波长分束光集合中的单波长分束光与行中的行元素一一对应。采用上述方案的本公开可以实现同时满足集成的、可重构的利用单层完成大规模的光学矩阵运算。

Patent Agency Ranking