-
公开(公告)号:CN111938567B
公开(公告)日:2021-10-22
申请号:CN202010655960.7
申请日:2020-07-09
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于深度学习的人眼参数测量方法及系统,包括:获取人脸图片,并提取图片中左右眼图像;采用深度神经网络,识别左右眼图像中的不同位置,包括角膜、巩膜和内外眦位置;计算左右眼图像中的不同位置的多个眼部参数。同时提供了一种基于上述人眼参数测量方法及系统实现的设备。本发明提供的基于深度学习的人眼参数测量方法、系统及设备,能够实现人眼不同部位的自动识别和定位;实现眼科医生常需要测量的眼部参数的自动测量;为眼科医生实现对眼部病症情况的分析提供了参数辅助及支持。
-
公开(公告)号:CN111479105B
公开(公告)日:2021-06-04
申请号:CN202010171567.0
申请日:2020-03-12
Applicant: 上海交通大学
IPC: H04N17/00 , H04N21/234 , H04N21/233 , H04N21/44 , H04N21/439 , H04N21/475
Abstract: 本发明提供了一种视频及音频联合质量评价方法,包括:利用视频质量评价模型预测视频质量,得到视频预测质量分数Qv及视频预测质量特征fv;利用音频质量评价模型预测音频质量,得到音频预测质量分数Qa及音频预测质量特征fa;对视频预测质量分数Qv及音频预测质量分数Qa分别进行归一化处理,得到归一化的视频预测质量分数及音频预测质量分数融合归一化的视频预测质量分数及音频预测质量分数或,融合视频预测质量特征fv及音频预测质量特征fa,进而得到预测的视频及音频联合质量分数Qav或特征fav。同时提供了一种视频及音频联合质量评价装置。利用本发明提供的方法和装置,可有效地评价音频和视频的总体体验质量。
-
公开(公告)号:CN111931579A
公开(公告)日:2020-11-13
申请号:CN202010654972.8
申请日:2020-07-09
Applicant: 上海交通大学
Abstract: 本发明公开一种利用眼动追踪和手势识别技术的自动驾驶辅助系统及方法,包括:平视显示器,将控制车辆的操作可视化为虚拟按钮的形式,将所述虚拟按钮显示给驾驶员,驾驶员用目光注视和/或手势指示所述平视显示器要做的动作;车载摄像头,用于捕捉驾驶员的面部及手部图像;数据处理中心,接收所述车载摄像头捕捉的图像,通过机器学习算法对驾驶员的视线和手势信息进行眼动追踪、手势识别,得到驾驶员目光注视和/或手势指向的方向,从而确定驾驶员要做动作对应的虚拟按钮,根据该虚拟按钮对车辆进行相应的操作。本发明能够实时地检测到车内驾驶员的目光注视方向和手势动作,并对眼神和手势进行理解,从而帮助驾驶员实现他们的意图。
-
公开(公告)号:CN109360155B
公开(公告)日:2020-10-13
申请号:CN201810938303.6
申请日:2018-08-17
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于多尺度特征融合的单帧图像去雨方法,通过运用不同尺度的感受野进行对有雨图像的特征提取,之后通过反卷积操作通过特征得到去雨结果,运用粗尺度的特征与细尺度特征的结合,促进细尺度生成的无雨图像达到最好去雨的效果。通过在多个尺度上去除雨线,能使用于多种雨水情况,去雨算法更加具有普适性。本发明引用了对抗误差与感知误差构建了新的误差函数,对去雨模型进行训练,不需要任何先验知识,也不需要对图像进行预处理和后处理,保证了整个结构的完整性;在多个测试集上的结果表明本发明同前沿的主流去雨算法结果相比,在亮度信号通道上的峰值信噪比上能够提升2‑5dB。
-
公开(公告)号:CN111508528A
公开(公告)日:2020-08-07
申请号:CN202010171602.9
申请日:2020-03-12
Applicant: 上海交通大学
Abstract: 本发明提供了的一种基于自然音频统计特性的无参考音频质量评价方法,通过将相关的自然图像统计特性推广至自然音频统计,从而实现基于自然音频统计的无参考音频质量评价;本发明所提供的方法包括如下步骤:对输入音频信号进行正则化,利用自然音频统计特性进行建模,提取基于自然音频统计的音频质量特征,特征回归得到最终的音频质量估计。同时提供了一种基于自然音频统计特性的无参考音频质量评价装置。利用本发明提供的基于自然音频统计特性的无参考音频质量评价方法和装置,可有效地在原始音频信号未知的情况下估计待测的音频信号质量。
-
公开(公告)号:CN111479109A
公开(公告)日:2020-07-31
申请号:CN202010172444.9
申请日:2020-03-12
Applicant: 上海交通大学
IPC: H04N17/00 , H04N21/234 , H04N21/44
Abstract: 本发明提供了一种基于视听联合注意的视频质量评价方法、系统及终端,该方法在传统基于视觉注意的视频质量评价方法的基础上,通过纳入听觉对视觉注意的影响,构建更加全面的视听联合注意力模型,然后在视频局部失真池化的时候引入基于视听联合注意的加权池化,从而更好地辅助视频质量评价;该方法主要包含三大步骤:构建视听联合注意力模型,视频局部失真度量,基于视听联合注意的局部失真池化。本发明可以更全面地考虑听觉对视觉注意的影响,从而利用视听联合注意更有效地辅助视频质量评价。
-
公开(公告)号:CN111479106A
公开(公告)日:2020-07-31
申请号:CN202010171586.3
申请日:2020-03-12
Applicant: 上海交通大学
IPC: H04N17/00 , H04N21/234 , H04N21/233 , H04N21/44 , H04N21/439 , H04N21/475
Abstract: 本发明提供了一种一二维质量描述子融合的音视频联合质量评价方法及终端,通过对现有的适用于二维图像信号的视觉质量描述子进行有针对性的推广和降维操作,得到适用于一维音频信号的听觉质量描述子,然后融合上述二维图像质量描述子和一维音频质量描述子,从而构建音视频联合质量评价模型。包括:选取适用于视觉信号的二维图像质量描述子,通过将二维图像质量描述子中所有二维操作推广并降维至一维操作来设计适用于听觉信号的一维音频质量描述子,融合二维图像质量描述子和一维音频质量描述子得到音视频联合质量评价模型。本发明可有效地评价音频和视频的总体体验质量。
-
公开(公告)号:CN106331433B
公开(公告)日:2020-04-24
申请号:CN201610729038.1
申请日:2016-08-25
Applicant: 上海交通大学
Abstract: 本发明提供一种基于深度递归神经网络的视频去噪方法,所述方法采用端到端的深度神经网络模型,所述深度神经网络模型包含两层递归神经网络,将有噪视频作为输入,第一层递归神经网络通过递归和非线性运算获得视频的初级特征,并将其作为输出传递到下一层递归神经网络,视频在第二层递归网络中获得高级特征,输出层利用两层递归神经网络获得的特征解码重构最终输出去噪后的视频;本发明利用时间域的递归结构端到端地进行视频去噪,无须通过其他复杂算法获取视频的运动信息;利用深度网络结构强大的表达能力实现有噪视频与去噪视频之间的映射;能够延展并应用在各种不同类型的噪声中,如高斯噪声、泊松‑高斯混合噪声等。
-
公开(公告)号:CN110930356A
公开(公告)日:2020-03-27
申请号:CN201910966425.0
申请日:2019-10-12
Applicant: 上海交通大学
Abstract: 本发明提供了一种无参考的针对工业二维码图像的质量评价系统,包括工业二维码数据库模块,提供待评估的工业二维码测试样本和用于训练的工业二维码训练样本,输入多任务MTL卷积神经网络模块进行模块;多任务MTL卷积神经网络模块,通过在工业二维码训练样本上对多任务MTL卷积神经网络进行训练,并采用训练后的多任务MTL卷积神经网络完成对待评估的工业二维码进行的质量评价任务;工业二维码经过浅层多任务卷积神经网络和深层多任务卷积神经网络的预测后,一方面,可以判定图像的多种失真类型,另一方面,可以预测图像的质量等级。本发明可以大大减少工业二维码预处理与解码的时间成本与计算成本,提高工业二维码的解码效率,增加工业流水线的吞吐量。
-
公开(公告)号:CN110503666A
公开(公告)日:2019-11-26
申请号:CN201910650651.8
申请日:2019-07-18
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于视频的密集人群计数方法,根据原始视频数据,计算视频叠加光流;根据视频叠加光流,生成运动特征;根据原始视频数据,生成外观特征;将运动特征与外观特征级联,得到合并特征,将合并特征输入膨胀卷积网络,生成人群活跃区域分割;将人群活跃区域分割,输入空间注意力机制网络,生成空间注意力图,利用空间注意力图对外观特征进行加权,得到注意力加权之后的外观特征;将注意力加权之后的外观特征输入膨胀卷积网络,得到人群密度估计。同时提供了一种基于视频的密集人群计数系统。本发明实现基于空间注意力的密度估计,从而达到了减轻背景干扰的目的,提升了人群计数的鲁棒性。
-
-
-
-
-
-
-
-
-