一种基于单张图像的细粒度3D人脸重建方法

    公开(公告)号:CN115937429A

    公开(公告)日:2023-04-07

    申请号:CN202211641983.8

    申请日:2022-12-20

    申请人: 上海大学

    摘要: 本发明涉及一种基于单张图像的细粒度3D人脸重建方法,对原始的人脸图像数据集进行预处理,裁剪人脸部分区域,提取人脸的mask图并标记landmarks;然后在粗糙的3D人脸重建阶段,将预处理后的人脸图像输入到人脸回归模型中,进行网络模型训练;然后根据训练后的人脸回归模型参数,输出人脸系数向量,通过渲染生成平滑二维人脸图像;再在细粒度的3D人脸重建阶段,将反照率图输入到反照率模型中,进行反照率网络模型训练。根据训练后得到的反照率模型参数输出反照率图,根据训练后得到的深度移位模型参数,输出深度移位图。本发明方法能从单张图像中重建出细粒度的3D人脸几何和纹理信息,还对自然界中不同条件下人脸图像具有鲁棒性,应用于虚拟现实和娱乐影视。

    一种运动路径指引的老电影黑帧修复方法

    公开(公告)号:CN107945124B

    公开(公告)日:2021-12-03

    申请号:CN201711143062.8

    申请日:2017-11-17

    申请人: 上海大学

    摘要: 本发明公开一种运动路径指引的老电影黑帧修复方法,包括:运动路径估计步骤,其中使用光流估计获得前后参考帧之间的运动路径约束;预插值步骤,其中使用自适应的双向帧插值插得预处理中间帧;黑洞填补步骤,其中对预处理中间帧中的黑洞进行邻域像素填补,从而提高终插值的准确性;以及终插值步骤,其中对包含运动路径约束的预处理中间帧进行基于块的帧重构,从而将老电影中的黑帧修复成过渡自然的中间帧。本发明方法不仅能较好的满足重建效果,而且也兼顾了计算复杂度,对于大部分的老电影镜头,甚至一些较为复杂的变形镜头也能较好的还原中间帧。

    基于SPH的虚拟血管造影手术造影剂扩散过程模拟方法

    公开(公告)号:CN105678102B

    公开(公告)日:2019-02-22

    申请号:CN201610120376.5

    申请日:2016-03-03

    申请人: 上海大学

    IPC分类号: G16H50/50 G06T15/20 G06T17/00

    摘要: 本发明提出了一种基于SPH的虚拟血管造影手术造影剂扩散过程模拟方法。该方法包括模拟初始化和模拟循环两部分。模拟初始化部分,对模拟血管的边界条件和“血液‑造影剂”混合二相流粒子进行初始化;模拟循环部分,通过“血液‑造影剂”二相混合流模体型并采用边界粒子修正边界处的混合流密度和应用无滑移边界条件来循环模拟造影剂在血管内扩散的过程。本方法能够逼真的实时模拟“血液‑造影剂”混合流体在血管中扩散的效果。

    基于字典学习的HDR照片风格转移方法

    公开(公告)号:CN106780367A

    公开(公告)日:2017-05-31

    申请号:CN201611058620.6

    申请日:2016-11-28

    申请人: 上海大学

    IPC分类号: G06T5/00

    摘要: 本发明涉及一种基于字典学习的HDR照片风格转移方法。通过给定一张HDR参考照片,借助颜色转移和字典学习,将HDR风格特征转移到源照片上,从而自动生成HDR照片效果。该方法的包括步骤如下:(1)借助梯度保持的颜色转移方法,将HDR参考照片的颜色特征转移到源照片上;(2)对HDR参考照片提取细节特征,利用K_SVD算法进行字典训练,形成细节的过完备字典集;(3)利用细节的过完备字典集对源照片进行稀疏重建,生成与HDR参考照片特征一致的细节;(4)将颜色转移的结果和细节重建的结果合并,最终生成HDR风格的新照片。本发明方法流程清晰、结构完整,实现效率高。

    一种基于深度学习的端到端智能平面设计方法

    公开(公告)号:CN114564768A

    公开(公告)日:2022-05-31

    申请号:CN202210218256.4

    申请日:2022-03-03

    申请人: 上海大学

    摘要: 本发明公开了一种基于深度学习的端到端智能平面设计方法,使用采集到的海报数据集,首先筛选并划分原始海报数据集,进行布局设计和属性确认两个子任务的共同学习,在训练集上进行训练调参,使模型性能达到最优状态;根据输入图像和文本信息,通过调用训练完成的模型,智能平面设计框架提取图像和文本的特征信息,搜索合适的设计图布局并确认构图文本属性,自动生成和谐的平面设计。本发明使用了统一联合训练框架防止了训练过程中的数据分布差异,减轻流水线式模型中的错误传播,发挥端到端训练的优点,不需要人为定义平面设计的美学规则,而是从数据中学习美学规则,并且也不依赖图像显着图检测,从而可以更好地泛化到各种平面设计任务。

    一种血管内造影剂扩散模拟方法
    6.
    发明公开

    公开(公告)号:CN114494492A

    公开(公告)日:2022-05-13

    申请号:CN202210052502.3

    申请日:2022-01-18

    申请人: 上海大学

    摘要: 本发明提出了一种血管内造影剂扩散模拟方法,使用隐式边界表示法和二相混合流体模型来模拟造影剂在各类复杂血管内的扩散运动。该方法包括三个步骤:首先为血管边界生成边界体积图;然后初始化模拟参数,初始化“血液‑造影剂”混合粒子的属性和位置,并加载边界体积图;最后进行模拟循环,计算每个时刻“血液‑造影剂”混合粒子的密度和受力,更新其速度和位置,并进行渲染。本方法能够真实、实时模拟造影剂在各类复杂血管中的扩散效果,解决了虚拟造影手术中真实感和沉浸感的难题,且重复性好,没有材料的浪费。

    一种基于Avatar表情移植的虚拟社交方法

    公开(公告)号:CN110135215B

    公开(公告)日:2021-11-05

    申请号:CN201810104085.6

    申请日:2018-02-02

    申请人: 上海大学

    IPC分类号: G06K9/00 G06Q50/00

    摘要: 本发明涉及一种基于Avatar表情移植的虚拟社交方法。本方法的具体操作步骤是:一利用SDM(监督下降方法)从实时输入的视频流中提取人脸特征点;二、面部语义特征作为CPR(级联姿态回归)训练的DDE(位移动态表情)模型的输入,输出的表情系数和头部运动参数移植给Avatar(虚拟化身);三、对DDE模型输出的表情系数进行表情编码分组与情感分类;四、通过网络传输策略实现表情动画音频同步。本发明能实时捕捉用户面部表情并在Avatar上进行表情重演,并搭建网络通讯技术的虚拟社交。

    一种虚拟血管造影手术力反馈注射器装置

    公开(公告)号:CN107341985A

    公开(公告)日:2017-11-10

    申请号:CN201710303931.2

    申请日:2017-05-03

    申请人: 上海大学

    IPC分类号: G09B9/00

    CPC分类号: G09B9/00

    摘要: 本发明提出了一种虚拟血管造影手术力反馈注射器装置,包括注射器力反馈机构、电源模块、微处理单元、步进电机驱动器,所述注射器力反馈机构包括注射器、气缸、步进电机、梯形丝杠、空气压强传感器、滑动电位器;电源模块包括直流电源、压降模块、电平转换模块。本发明用于模拟血管造影手术中造影剂注射过程中的注射状态和力觉感,解决了虚拟造影手术中血管造影过程中视觉和力觉协调的难题,手术精确度高,重复性好,可以缩短医生的培养周期,降低手术风险。

    一种老电影褪色闪烁的修复方法

    公开(公告)号:CN105809639A

    公开(公告)日:2016-07-27

    申请号:CN201610120743.1

    申请日:2016-03-03

    申请人: 上海大学

    IPC分类号: G06T5/00

    摘要: 本发明涉及一种老电影褪色闪烁的修复方法,该方法包括:(1)导入待处理序列,然后对待处理序列分镜,对每一组分镜序列通过RGB通道均值统计曲线判断序列是否存在闪烁;(2)在存在闪烁的分镜中挑选合适的参考帧,若无参考帧,则通过色彩校正产生参考帧,若有参考帧,则直接选定参考帧;(3)使用颜色传递算法进行闪烁修复直至该组分镜处理完成;(4)对下一组分镜序列重新筛选参考帧进行上述处理,直至所有分组序列全部处理完成。本方法交互简单,处理速度较快,能适用于大部分的全局褪色闪烁的修复。

    一种基于风格化生成对抗网络的高清换脸方法

    公开(公告)号:CN117391929A

    公开(公告)日:2024-01-12

    申请号:CN202311280255.3

    申请日:2023-09-28

    申请人: 上海大学

    摘要: 本发明涉及一种基于风格化生成对抗网络的高清换脸方法,包括以下步骤:获取源人脸‑目标人脸图像对;将所述人脸图像对输入预先构建好的特征提取网络模型中,输出预测的换脸图像,并将目标人脸图像输入目标遮罩预测器中,输出预测的目标遮罩,其中特征提取网络模型包含身份编码器、属性编码器、映射网络和StyleGAN2生成器;将所述换脸图像和目标遮罩输入FS‑Net网络模型中进行换脸图像重建;提取所述目标遮罩的背景部分为背景遮罩,与重建后换脸图像进行线性计算得到高清换脸图像。与现有技术相比,本发明具有显著提高了换脸图像的质量等优点。