-
公开(公告)号:CN115496862A
公开(公告)日:2022-12-20
申请号:CN202211300822.2
申请日:2022-10-24
Applicant: 复旦大学
Abstract: 本发明公开了一种基于SPIN模型的实时三维重建方法和系统;该系统包括:图像接收模块:接收来自远程摄像模块的RGB图片;图像预处理模块:对RGB图片进行归一化和标准化处理;神经网络模块:使用预处理后的图片信息生成SMPL模型参数;结果后处理模块:对模型参数进行改写和封装,使其适合网络传输;结果传输模块:将后处理的人体模型参数传输给VR客户端。本发明通过引入堆叠沙漏模型并使用重投影损失和人体着装差异化损失,有效地提升了不同人体体型的重建效果。同时本发明对模型进行轻量化改造,通过仔细设计数据格式使得模型在网络环境满足实时性要求。
-
公开(公告)号:CN113536920B
公开(公告)日:2022-06-17
申请号:CN202110652497.5
申请日:2021-06-11
Applicant: 复旦大学
IPC: G06V20/64 , G06V10/25 , G06V10/26 , G06V10/774 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08 , G06T7/194 , G06T7/73
Abstract: 本发明公开了一种半监督三维点云目标检测方法。其包括如下步骤:(1)对输入教师模型和学生模型的点云进行随机下采样,教师模型的随机下采样数据作为教师模型的输入;(2)将学生模型的随机下采样数据经过随机变换,作为学生模型的输入;(3)训练学生模型时使用标签数据同步训练教师模型,每一次迭代后将训练好的学生模型作为教师模型进一步训练,通过教师网络对无标签的数据进行挖掘,得到伪标签用于指导学生网络的学习,获得三维点云目标检测结果。本发明可以减少三维目标检测深度学习模型对数据标签的依赖,降低数据标注的成本;使用部分标签就达到同样模型使用100%标签的精度;本实验模型泛化能力强,能够用到多种深度学习模型中。
-
公开(公告)号:CN113538534B
公开(公告)日:2022-05-20
申请号:CN202110700487.4
申请日:2021-06-23
Applicant: 复旦大学
Abstract: 本发明属于纳米成像技术领域,具体为一种基于深度强化学习的纳米成像的图像配准方法。本发明方法包括构建深度强化学习网络模型、利用该网络进行图像配准;网络模型包括两个分支;一个分支包括一个全连接层,输入为动作序列;一个分支包括两个卷积层和池化层,输入为选取的参考图片和待配准图片;输出为表示策略函数的的动作概率分布;图像配准部分,设计8种动作序列来对待配准的图像进行微调;具体包括:对待配准图像进行重采样;将待配准图像和参考图像和重采样图像输入构建的网络模型中,输出策略动作的概率分布。本发明速度快、精度高、鲁棒性好、适应性强;全自动进行图像配准,摆脱了手动标记的麻烦。
-
公开(公告)号:CN113538456B
公开(公告)日:2022-03-18
申请号:CN202110692455.4
申请日:2021-06-22
Applicant: 复旦大学
Abstract: 本发明公开了一种基于GAN网络的图像软分割及背景替换系统。该系统包括图像软分割和背景替换两部分。图像软分割部分用于预测原始图像的前景以及alpha值,共包含五个模块:输入模块,全文组合模块,残差网络模块,金字塔场景解析模块和轻量级交互式分支模块;背景替换部分用于背景替换,生成高分辨率的背景替换图,其包括生成器模型和判别器模型。本发明的有益效果在于:其能减轻图像软分割过程中辅助图制作带来的繁重任务,能在获得高精度的分割图像的前提下,结合图像生成进行背景替换。
-
公开(公告)号:CN113411557B
公开(公告)日:2022-03-18
申请号:CN202110507947.1
申请日:2021-05-11
Applicant: 复旦大学
IPC: H04N13/106 , H04N13/117 , H04N13/363 , H04N19/149 , H04N19/176 , H04N19/423 , H04L65/60 , H04L65/80
Abstract: 本发明属于计算机网络应用层协议技术领域,具体为一种适用于蜂窝网络的VR全景视频优化传输方法。本发明方法包括:VR全景视频的投影、压缩、切片与分块;使用显著性检测对视频进行多焦点的冗余存储,其中采用3D卷积神经网络对样本视频进行有监督学习,得到预测模型用于预测显著区域,随后进行多焦点的冗余存储;视窗自适应传输协议,该协议是基于UDP的应用层协议,并保证视频流即时传输时有缓冲空间;基于头部运动方向预测的预传输,使用机器学习方法,建立方向预测模型,利用预测模型,预测出客户端下一段时间需要的视频片段,通过预传输的方式有效提高客户端视频流畅度。本发明模型简单,可以显著提升传输效率,保证实时性。
-
公开(公告)号:CN113536920A
公开(公告)日:2021-10-22
申请号:CN202110652497.5
申请日:2021-06-11
Applicant: 复旦大学
Abstract: 本发明公开了一种半监督三维点云目标检测方法。其包括如下步骤:(1)对输入教师模型和学生模型的点云进行随机下采样,教师模型的随机下采样数据作为教师模型的输入;(2)将学生模型的随机下采样数据经过随机变换,作为学生模型的输入;(3)训练学生模型时使用标签数据同步训练教师模型,每一次迭代后将训练好的学生模型作为教师模型进一步训练,通过教师网络对无标签的数据进行挖掘,得到伪标签用于指导学生网络的学习,获得三维点云目标检测结果。本发明可以减少三维目标检测深度学习模型对数据标签的依赖,降低数据标注的成本;使用部分标签就达到同样模型使用100%标签的精度;本实验模型泛化能力强,能够用到多种深度学习模型中。
-
公开(公告)号:CN113191216A
公开(公告)日:2021-07-30
申请号:CN202110391846.2
申请日:2021-04-13
Applicant: 复旦大学
Abstract: 本发明涉及基于姿态识别和C3D网络的多人实时动作识别方法和系统,方法包括通过摄像头采集原始视频;采用OpenPose算法对原始视频进行人体姿态估计,生成人体姿态模型视频;对人体姿态模型视频中的动作起始帧进行判断;对初始数据的每一帧图片进行裁剪;将输入数据输入训练好的C3D网络模型,输出得到动作识别结果。与现有技术相比,本发明具有识别速度快,检测精度高等优点。
-
公开(公告)号:CN115797555A
公开(公告)日:2023-03-14
申请号:CN202211465514.5
申请日:2022-11-22
Applicant: 复旦大学
IPC: G06T17/00 , G06T15/04 , G06T5/00 , G06N3/08 , G06N3/0455
Abstract: 本发明公开了一种基于深度相机的人体实时三维重建方法。本发明使用SMPL‑X作为参数化的人体模型,通过训练神经网络从输入数据中控制该模型的变形,实现实时重建效果。首先,利用深度相机输出深度数据丰富神经网络的上下文信息,避免使用RGB数据间接计算深度特征,使网络更加轻量化;其次,利用人体姿态估计结果从输入数据中裁剪得到局部数据,通过学习局部细节特征提升人体模型手部和脸部的精度;接着,利用去噪自编码器对人体模型参数进行压缩和降噪,最后,给出基于深度相机和参数化人体模型的贴图方案。综上,本发明方法是一种轻量化且高性能的重建方法,能够快速重建出高精度的人体三维模型,可应用于虚拟现实、元宇宙等场景。
-
公开(公告)号:CN114926825A
公开(公告)日:2022-08-19
申请号:CN202210547632.4
申请日:2022-05-11
Applicant: 复旦大学
IPC: G06V20/59 , G06V10/62 , G06V10/764 , G06V10/82 , G06V10/30 , G06V10/52 , G06V10/774 , G06N3/04 , G06N3/08
Abstract: 本发明属于车辆驾驶检测技术领域,具体为基于时空特征融合的车辆驾驶行为检测方法。本发明方法:在离线阶段,包括数据预处理,通过时空特征抽取网络分别提取空间和时间特征,并在全连接层嵌入驾驶上下文信息;使用Softmax函数对融合的时空特征进行驾驶行为分类;在在线阶段,包括对检测的驾驶行为进行驾驶行为评分,评分策略首先使用驾驶行为检测模型自动地检测具体的驾驶行为;接着结合驾驶表现分及驾驶水平积分两种方式全面评价驾驶员的日常及长期的驾驶行为,可以更好地引导驾驶员向高效驾驶、安全驾驶演变;最后可选择将驾驶数据与交管部门联网,优化交通管理与安全。并通过智能手机进行驾驶行为检测和反馈,极大地提高其应用价值。
-
公开(公告)号:CN113851017A
公开(公告)日:2021-12-28
申请号:CN202110952809.4
申请日:2021-08-19
Applicant: 复旦大学
Abstract: 本发明属于通信工程与计算机技术领域,具体为一种基于路侧RSU的行人车辆识别预警多功能系统。本发明系统通过摄像头与雷达等路侧感知终端识别行人车辆的位置、朝向信息,经过分析这些信息,预判可能有的冲突,完成预警;实现全过程、全方位的路况高精度决策;包括多设备组成的路侧RSU系统,以及路侧端行人车辆检测、潜在车人冲突检测、交通违规检测、禁止通过预警、交叉路口碰撞警告和前向碰撞预警等功能模块。本发明能将行人车辆信号等信息全方位实时识别预测出来,与混合交通、多变天气环境进行交互,从而确保车辆尽可能多的掌握所在时空信息;可取代现有自动驾驶技术在同等路况下的保守算法策略,实现复杂路况下的安全自动驾驶。
-
-
-
-
-
-
-
-
-