知搜-全球专利检索

  1. 登录
  2. 注册

搜索结果

43 条记录 (耗时 0.042 秒)

    一种虚拟人物表情动作的提取方法、系统、装置及介质
    2.
    发明授权
    一种虚拟人物表情动作的提取方法、系统、装置及介质 有权

    公开(公告)号：CN111291674B

    公开(公告)日：2023-07-14

    申请号：CN202010079897.7

    申请日：2020-02-04

    申请人： 清华珠三角研究院 ,  赛业(广州)生物科技有限公司

    发明人： 王伦基 ,  李权 ,  叶俊杰 ,  任勇 ,  黄桂芳 ,  韩蓝青

    IPC分类号： G06V40/16 ,  G06V40/20 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

    摘要： 本发明公开了一种虚拟人物表情动作的提取方法、装置、装置及存储介质，所述方法包括采集人物动作视频，从所述人物动作视频中提取人物动作信息，构建人物动作库，根据语音信号获取对应的唇形图像，将所述唇形图像嵌入人物动作库相应的人脸图像中，生成包含人物表情和动作的图像，从所述图像提取人物表情动作。通过构建人物动作库，并简单的修改二维点坐标，或者二维掩码的形状，就可以生成互不相同的第二标签信息，进而能够丰富人物动作库的内容；在简化人物表情动作提取操作的同时，还能随时提取不同的表情动作，并且能够提供丰富的人物动作库，并可以方便地在人物动作库中加入新的动作，提高工作效率。本发明广泛应用于图像处理技术领域。

    语音驱动图像的方法、系统、装置及存储介质
    3.
    发明授权
    语音驱动图像的方法、系统、装置及存储介质 有权

    公开(公告)号：CN113192162B

    公开(公告)日：2022-12-02

    申请号：CN202110436595.5

    申请日：2021-04-22

    申请人： 清华珠三角研究院 ,  赛业(广州)生物科技有限公司

    发明人： 王伦基 ,  李权 ,  叶俊杰 ,  朱杰 ,  成秋喜 ,  韩蓝青

    IPC分类号： G06T13/20 ,  G06V40/16 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08 ,  G10L15/22

    摘要： 本发明公开了一种语音驱动图像的方法、系统、装置及存储介质，所述方法包括：获取语音及图像；根据所述图像提取面部特征参数；将所述语音输入到头部位姿及表情预测模型获取系列动态参数；根据所述面部特征参数及所述系列动态参数生成系列图像；根据所述语音及所述系列图像生成视频文件。本发明实施例通过图像提取面部特征参数实现对多种图像的面部参数进行更准确的提取，通过头部位姿及表情预测模型获取与语音匹配的动态参数，通过语音、面部特征参数及动态参数生成生动逼真且与语音匹配的视频文件，整个过程操作简单且便于推广。本发明实施例可广泛应用于图像处理技术领域。

    一种虚拟人物自动讲解的方法、系统、装置和介质
    4.
    发明公开
    一种虚拟人物自动讲解的方法、系统、装置和介质 无效

    公开(公告)号：CN113270101A

    公开(公告)日：2021-08-17

    申请号：CN202110434042.6

    申请日：2021-04-22

    申请人： 清华珠三角研究院 ,  赛业(广州)生物科技有限公司

    发明人： 朱杰 ,  李权 ,  叶俊杰 ,  王伦基 ,  成秋喜 ,  韩蓝青

    IPC分类号： G10L15/26 ,  G06K9/32 ,  G09F27/00

    摘要： 本发明公开了一种虚拟人物自动讲解的方法、系统、装置和存储介质。虚拟人物自动讲解的方法包括识别出输入信息中包含的文旅客体信息，生成用于对文旅客体信息进行讲解的讲解信息，显示虚拟人物，通过所述虚拟人物播放讲解信息等步骤。本发明通过虚拟人物对文旅客体进行自动讲解，能够避免人工讲解效率低下、成本高、服务质量不稳定、时间覆盖度低等缺点，并且由于计算机系统可以连接到庞大的数据库，因此计算机系统的知识储备远比真人讲解人员丰富，因此能够向游客提供更详细的讲解，有利于推广文化旅游。本发明广泛应用于人机交互技术领域。

    语音驱动图像的方法、系统、装置及存储介质
    5.
    发明公开
    语音驱动图像的方法、系统、装置及存储介质 有权

    公开(公告)号：CN113192162A

    公开(公告)日：2021-07-30

    申请号：CN202110436595.5

    申请日：2021-04-22

    申请人： 清华珠三角研究院 ,  赛业(广州)生物科技有限公司

    发明人： 王伦基 ,  李权 ,  叶俊杰 ,  朱杰 ,  成秋喜 ,  韩蓝青

    IPC分类号： G06T13/20 ,  G06K9/00 ,  G06N3/04 ,  G06N3/08 ,  G10L15/22

    摘要： 本发明公开了一种语音驱动图像的方法、系统、装置及存储介质，所述方法包括：获取语音及图像；根据所述图像提取面部特征参数；将所述语音输入到头部位姿及表情预测模型获取系列动态参数；根据所述面部特征参数及所述系列动态参数生成系列图像；根据所述语音及所述系列图像生成视频文件。本发明实施例通过图像提取面部特征参数实现对多种图像的面部参数进行更准确的提取，通过头部位姿及表情预测模型获取与语音匹配的动态参数，通过语音、面部特征参数及动态参数生成生动逼真且与语音匹配的视频文件，整个过程操作简单且便于推广。本发明实施例可广泛应用于图像处理技术领域。

    一种虚拟人讲课视频生成方法、系统、装置及存储介质
    10.
    发明授权
    一种虚拟人讲课视频生成方法、系统、装置及存储介质 有权

    公开(公告)号：CN113194348B

    公开(公告)日：2022-07-22

    申请号：CN202110434673.8

    申请日：2021-04-22

    申请人： 清华珠三角研究院 ,  赛业(广州)生物科技有限公司

    发明人： 李权 ,  王伦基 ,  叶俊杰 ,  朱杰 ,  成秋喜 ,  韩蓝青

    IPC分类号： H04N21/43 ,  H04N21/8547 ,  H04N21/44 ,  G10L13/02 ,  G06V40/16 ,  G06F40/279 ,  G06T13/40

    摘要： 本发明公开一种虚拟人讲课视频生成方法、系统、装置及存储介质，包括：获取讲稿内容，将讲稿内容转换为语音，并根据讲稿内容生成讲稿视频；根据讲稿内容或语音匹配出人物动作；将语音、人物动作输入至高清视频人物同步唇形模型，得到与语音同步的人脸唇形图像序列；将虚拟人老师形象以及人脸唇形图像序列输入至视频驱动虚拟人物模型，得到高清虚拟人讲课视频；将高清虚拟人讲课视频输入视频抠图模型，得到无背景虚拟人讲课视频；将无背景虚拟人讲课视频嵌入至讲稿视频中，得到虚拟人老师讲课视频。本发明只需要一份讲稿和一张虚拟人老师形象，即可生成生动形象的虚拟人老师讲课视频，大大缩短视频课程内容制作与打磨的时间。本发明可广泛应用于教学技术领域内。