一种基于自适应单峰立体匹配成本滤波的双目深度学习方法

    公开(公告)号:CN111709977A

    公开(公告)日:2020-09-25

    申请号:CN202010185728.1

    申请日:2020-03-17

    摘要: 本申请公开了一种基于自适应单峰立体匹配成本滤波的双目深度学习方法,其特征在于:对网络预测的匹配代价直接施加以真实视差为中心的单峰分布监督,实现自适应的匹配成本滤波,包括以下步骤:1)构建数据集,数据集包括左图像和右图像,左图像和右图像作为一个立体图像对;2)以PSMNet作为立体匹配模型基础网络,将立体图像对输入PSMNet立体匹配模型基础网络,PSMNet立体匹配模型基础网络输出三个经过堆积的沙漏3D卷积神经网络聚合后的匹配代价体(Cost Volume);3)对于每个匹配代价体(Cost Volume),分别用一个自信度评估网络(Confidence Estimation Network)估计自信度图并用于调节真实的匹配代价体(Ground Truth Cost Volume),以生成像素级别的单峰分布(Unimodal Distribution)作为网络训练标记。本发明的优点在于它能克服现有技术的弊端,结构设计合理新颖。

    一种基于数字医生的AI自杀风险分析方法及系统

    公开(公告)号:CN118098587A

    公开(公告)日:2024-05-28

    申请号:CN202410212039.3

    申请日:2024-02-27

    摘要: 本发明提出一种基于数字医生的AI自杀风险分析方法及系统,首先利用虚拟现实、大语言模型、语音识别等技术进行基于数字医生的心理访谈对话,以心理专家的虚拟人形象,向受试者提出问题并进行访谈,分析受试者话语,做出恰当的追问,控制访谈进展;同时,访谈过程中利用音视频采集设备采集受试者的音频、视频数据,采集的音视频数据传递给运算设备,分别对语音、语音转换得到的文本,以及视频呈现的表情、心率、微动作进行建模分析;最后,利用基于大语言模型的多模态融合的心理状态分析方法,基于访谈对话文本、语音、视频表情、心率和微动作等多个模态数据,对受试者的自杀风险进行分析,输出自杀风险报告。

    一种基于文本驱动的真实感虚拟人生成方法及装置

    公开(公告)号:CN115984429A

    公开(公告)日:2023-04-18

    申请号:CN202211578709.0

    申请日:2022-12-05

    摘要: 本发明提出一种基于文本驱动的真实感虚拟人生成方法:获取驱动视频与驱动文本;构造文本‑动作字典,根据文本中的内容来选定相应动作,并通过语音合成技术获得与文本对应的驱动音频,同时获得驱动文本中每个字段在音频中出现的字段时间戳,采用视频帧插值的中间流估计算法把动作帧插入到驱动视频中;引入音频到唇形生成模型,利用唇形判别器来获得准确而逼真的唇部运动;利用面部增强模型,加强对人脸区域的约束,通过增强人脸分辨率和画面细节来提升虚拟人的视觉质量;将音频与整个人物画面同步生成具有真实感的虚拟人视频。本发明有助于提高虚拟人的质量。