-
公开(公告)号:CN110599428B
公开(公告)日:2023-06-20
申请号:CN201910904000.7
申请日:2019-09-24
申请人: 北京航空航天大学青岛研究院 , 北京航空航天大学 , 歌尔股份有限公司 , 上海歌尔泰克机器人有限公司
IPC分类号: G06T5/00 , G06T9/00 , G06T7/246 , G06N3/0464 , G06N3/0455
摘要: 本发明所述光流估计异构混合网络及其嵌入方法,基于深度学习的光流估计算法,将coarse‑to‑fine网络和编解码网络结合到混合光流网络,以实现两个异构网络的相互增强,既通过coarse‑to‑fine网络保持较小的规模、同时借助编解码网络克服coarse‑to‑fine网络存在的难捕获快速移动小目标和易导致“鬼影现象”的问题。混合网络,是将编解码网络嵌入到coarse‑to‑fine网络中而形成的;所述的编解码网络,其特征匹配部分进行通道压缩而与coarse‑to‑fine网络的特征匹配部分输出的匹配特征进行拼接;coarse‑to‑fine网络的光流估计部分的输出反馈给编解码网络。
-
公开(公告)号:CN110599428A
公开(公告)日:2019-12-20
申请号:CN201910904000.7
申请日:2019-09-24
申请人: 北京航空航天大学青岛研究院 , 北京航空航天大学 , 歌尔股份有限公司 , 上海歌尔泰克机器人有限公司
摘要: 本发明所述光流估计异构混合网络及其嵌入方法,基于深度学习的光流估计算法,将coarse-to-fine网络和编解码网络结合到混合光流网络,以实现两个异构网络的相互增强,既通过coarse-to-fine网络保持较小的规模、同时借助编解码网络克服coarse-to-fine网络存在的难捕获快速移动小目标和易导致“鬼影现象”的问题。混合网络,是将编解码网络嵌入到coarse-to-fine网络中而形成的;所述的编解码网络,其特征匹配部分进行通道压缩而与coarse-to-fine网络的特征匹配部分输出的匹配特征进行拼接;coarse-to-fine网络的光流估计部分的输出反馈给编解码网络。
-
公开(公告)号:CN111709977A
公开(公告)日:2020-09-25
申请号:CN202010185728.1
申请日:2020-03-17
申请人: 北京航空航天大学青岛研究院 , 上海歌尔泰克机器人有限公司
摘要: 本申请公开了一种基于自适应单峰立体匹配成本滤波的双目深度学习方法,其特征在于:对网络预测的匹配代价直接施加以真实视差为中心的单峰分布监督,实现自适应的匹配成本滤波,包括以下步骤:1)构建数据集,数据集包括左图像和右图像,左图像和右图像作为一个立体图像对;2)以PSMNet作为立体匹配模型基础网络,将立体图像对输入PSMNet立体匹配模型基础网络,PSMNet立体匹配模型基础网络输出三个经过堆积的沙漏3D卷积神经网络聚合后的匹配代价体(Cost Volume);3)对于每个匹配代价体(Cost Volume),分别用一个自信度评估网络(Confidence Estimation Network)估计自信度图并用于调节真实的匹配代价体(Ground Truth Cost Volume),以生成像素级别的单峰分布(Unimodal Distribution)作为网络训练标记。本发明的优点在于它能克服现有技术的弊端,结构设计合理新颖。
-
公开(公告)号:CN116109947A
公开(公告)日:2023-05-12
申请号:CN202211074728.X
申请日:2022-09-02
申请人: 北京航空航天大学 , 北京航空航天大学江西研究院
IPC分类号: G06V20/17 , G06V10/764 , G06V10/82 , G06V10/766
摘要: 本发明提出一种基于大核等效卷积注意力机制的无人机图像目标检测方法。包括:(1)首先对训练数据做预处理;(2)构建整个目标检测网络;(3)网络构建完成后,使用已经处理好的数据对网络进行训练,得到训练收敛的网络权重文件;(4)利用训练好的检测器,对给定图像进行推理,得到检测结果,输出检测出的物体类别、物体位置与置信度。相比较于传统的目标检测算法,本发明通过应用注意力机制提高了无人机图像的目标检测精度,并且能够检出更多的目标。
-
公开(公告)号:CN114818876A
公开(公告)日:2022-07-29
申请号:CN202210348787.5
申请日:2022-04-01
申请人: 北京航空航天大学 , 北京航空航天大学江西研究院
摘要: 本发明公开一种基于表征一致性提高双目立体匹配网络泛化的方法,通过对中间特征施加立体选择性白化损失函数,以提高不同域之间的特征的双目一致性;对最终双目特征施加立体对比特征损失函数,以保持立体视图之间的特征一致性。利用预测视差与真实视差的差异损失、立体选择性白化损失以及立体对比特征损失的加权总和作为训练损失函数,作用于双目立体匹配网络训练期间。本发明可以无缝集成到现有的端到端立体匹配网络中,解决立体匹配网络的跨域泛化问题。
-
公开(公告)号:CN118098587A
公开(公告)日:2024-05-28
申请号:CN202410212039.3
申请日:2024-02-27
申请人: 北京航空航天大学 , 北京航空航天大学江西研究院
IPC分类号: G16H50/30 , G06N5/04 , G06F18/241 , G06V40/20 , G06V40/16
摘要: 本发明提出一种基于数字医生的AI自杀风险分析方法及系统,首先利用虚拟现实、大语言模型、语音识别等技术进行基于数字医生的心理访谈对话,以心理专家的虚拟人形象,向受试者提出问题并进行访谈,分析受试者话语,做出恰当的追问,控制访谈进展;同时,访谈过程中利用音视频采集设备采集受试者的音频、视频数据,采集的音视频数据传递给运算设备,分别对语音、语音转换得到的文本,以及视频呈现的表情、心率、微动作进行建模分析;最后,利用基于大语言模型的多模态融合的心理状态分析方法,基于访谈对话文本、语音、视频表情、心率和微动作等多个模态数据,对受试者的自杀风险进行分析,输出自杀风险报告。
-
公开(公告)号:CN114372523A
公开(公告)日:2022-04-19
申请号:CN202111675564.1
申请日:2021-12-31
申请人: 北京航空航天大学 , 中国兵器科学研究院 , 北京航空航天大学江西研究院
IPC分类号: G06K9/62 , G06N3/04 , G06N3/08 , G06V10/75 , G06V10/774 , G06V10/764 , G06V10/82
摘要: 本发明公开一种基于证据深度学习的双目匹配不确定性估计方法,通过卷积神经网络提取和聚合特征,进而获得一个匹配代价体和三个不确定性体,在匹配代价的指导下,计算出证据分布的四个超参数γ,ν,α和β;最后通过四个超参数计算双目匹配视差值,偶然不确定性和认知不确定性。本发明很好地反映出双目匹配的难易程度,提升不确定性估计的表现,而且面对分布外的数据时能给出较高的认知不确定性。
-
公开(公告)号:CN117475986A
公开(公告)日:2024-01-30
申请号:CN202310841473.3
申请日:2023-07-11
申请人: 北京航空航天大学 , 北京航空航天大学江西研究院
IPC分类号: G10L13/02 , G06V20/40 , G06V40/20 , G06V40/16 , G06T3/4053 , G06T3/4046 , G06F40/289 , G10L13/08 , G10L25/24 , H04N21/81
摘要: 本发明属于图像语音生成领域,提出一种具有视听感知能力的实时对话型数字分身生成方法:在训练和预处理阶段录制真人原型的音视频素材并进行预处理,使用音视频素材训练语音合成模型、唇形生成模型和面部增强模型;在数字分身生成阶段建立缓冲区,经过感知与回答、唇形同步、面部增强和音视频输出四个步骤,生成实时对话的数字分身。本发明能够合成高保真的数字分身,实现与用户的实时交互对话。
-
公开(公告)号:CN115984429A
公开(公告)日:2023-04-18
申请号:CN202211578709.0
申请日:2022-12-05
申请人: 北京航空航天大学 , 北京航空航天大学江西研究院
摘要: 本发明提出一种基于文本驱动的真实感虚拟人生成方法:获取驱动视频与驱动文本;构造文本‑动作字典,根据文本中的内容来选定相应动作,并通过语音合成技术获得与文本对应的驱动音频,同时获得驱动文本中每个字段在音频中出现的字段时间戳,采用视频帧插值的中间流估计算法把动作帧插入到驱动视频中;引入音频到唇形生成模型,利用唇形判别器来获得准确而逼真的唇部运动;利用面部增强模型,加强对人脸区域的约束,通过增强人脸分辨率和画面细节来提升虚拟人的视觉质量;将音频与整个人物画面同步生成具有真实感的虚拟人视频。本发明有助于提高虚拟人的质量。
-
公开(公告)号:CN115063888A
公开(公告)日:2022-09-16
申请号:CN202210732905.2
申请日:2022-06-27
申请人: 北京航空航天大学 , 北京航空航天大学江西研究院
IPC分类号: G06V40/20 , G06V10/82 , G06V10/80 , G06V10/77 , G06V10/774 , G06V10/764 , G06V10/46 , G06V10/44 , G06V10/42 , G06V10/25 , G06V10/22
摘要: 本发明公开一种基于双层显著特征的端到端行人搜索方法,本方法包括:1)检测分支对输入图像进行行人检测,输出行人边界框以及分类分数;2)ID分配模块为每个边界框分配其对应的行人身份ID;3)ROI对齐对ID分配传递的每个边界框进行处理;4)重识别分支对ROI特征进行处理获得显著特征,然后通过实例层次和局部层次显著特征的优化使模型提取出有区分性的特征用于搜索目标行人。本发明在一定程度上提高了行人搜索的性能,同时具有较强的鲁棒性。
-
-
-
-
-
-
-
-
-