-
公开(公告)号:CN113506322B
公开(公告)日:2024-04-12
申请号:CN202110801035.5
申请日:2021-07-15
Applicant: 清华大学
IPC: G06T7/246 , G06T7/73 , G06N3/0475 , G06N3/045 , G06N3/094 , G06N3/044 , G06N3/0464 , G06N3/084
Abstract: 本公开涉及一种图像处理方法及装置、电子设备和存储介质,所述方法包括:根据第一时间间隔对预设场景的第一时间段内的动态视觉信息进行分割,生成多个动态视觉图像;将第一时间段内的第一色彩图像及动态视觉图像输入图像生成网络进行处理,得到第二色彩图像。根据本公开的实施例的图像处理方法,可对第一时间段内的多个动态视觉信息进行分割,生成多个动态视觉图像,可在第一时间段中保留多个动态视觉图像,有利于对运动物体的轨迹进行跟踪。图像生成网络经过真实性对抗训练和准确度对抗训练,所生成第二色彩图像具有较高的真实性和准确性,可减少生成图像失真的可能性。
-
公开(公告)号:CN113506229B
公开(公告)日:2024-04-12
申请号:CN202110799904.5
申请日:2021-07-15
Applicant: 清华大学
Abstract: 本公开涉及一种神经网络训练和图像生成方法及装置,所述方法包括:将样本场景的样本动态视觉信息输入第一重建网络进行处理,获得第一重建结果;将样本场景的样本色彩图像输入第二重建网络进行处理,获得第二重建结果;根据样本色彩图像、第一重建结果及第二重建结果,确定第一重建网络和第二重建网络的综合网络损失;根据综合网络损失,训练第一重建网络和所述第二重建网络。根据本公开的实施例的神经网络训练方法,可通过训练使得动态视觉信息对应的特征图与色彩图像对应的特征图更接近,还可使得第二重建网络输出的第二重建图像更接近真实的色彩图像,可提升与第二重建图像接近的第一重建图像的准确程度和逼真程度。
-
公开(公告)号:CN112600996B
公开(公告)日:2022-12-09
申请号:CN202011412804.4
申请日:2020-12-03
Applicant: 清华大学
Abstract: 本发明实施例公开了一种紫外仿生视觉传感器。该紫外仿生视觉传感器包括:兴奋型感光单元和抑制型感光单元,兴奋型感光单元和抑制型感光单元均用于提取目标光信号中设定波段的光信号,并将设定波段的光信号转换为电流信号;传感控制单元,传感控制单元与兴奋型感光单元和抑制型感光单元电连接,传感控制单元用于根据兴奋型感光单元和抑制型感光单元转换的电流信号之间的差异,输出表征设定波段的光信号的光强变化量的电流信号;其中,兴奋型感光单元和抑制型感光单元分布在紫外仿生视觉传感器中的不同区域,设定波段包括紫外线波段。本发明的技术方案,实现了高速灰度变化量信号的采集,提升了图像的动态范围。
-
公开(公告)号:CN111106807B
公开(公告)日:2021-11-30
申请号:CN201911350678.1
申请日:2019-12-24
Applicant: 清华大学
IPC: H03F3/45
Abstract: 本发明实施例提供了一种视锥视杆复用式仿生视觉传感器,包括:预设数量个电压模式有源像素传感器电路和预设数量个电流模式有源像素传感器电路,一个电压模式有源像素传感器电路和一个电流模式有源像素传感器电路共用一个感光器件。通过电压模式有源像素传感器,可以输出表征目标光信号中的光强信息的目标电压信号,得到的目标电压信号表征光强信息的精度更高,可以得到更高质量的图像,即图像具有更高的图像信噪比。同时,通过电流模式有源像素传感器,可以输出表征目标光信号中的光强梯度信息的指定数字信号,一方面,可以快速得到指定数字信号,使得到图像的速度更快;另一方面,由于指定数字信号表征光强梯度信息,可以提高图像的动态范围。
-
公开(公告)号:CN113506319A
公开(公告)日:2021-10-15
申请号:CN202110799898.3
申请日:2021-07-15
Applicant: 清华大学
Abstract: 本公开涉及一种图像处理方法及装置、电子设备和存储介质,所述方法包括:根据第一时间间隔,对预设场景的第一时间段内的动态视觉信息进行分割,生成预设场景的多个动态视觉图像;将第一时间段内的动态视觉图像,输入图像生成网络进行处理,得到与第一时间段内的动态视觉图像分别对应的第二色彩图像。根据本公开的实施例的图像处理方法,可对第一时间段内的多个动态视觉信息进行分割,生成多个动态视觉图像,可在第一时间段中保留多个动态视觉图像,有利于对运动物体的轨迹进行跟踪。
-
公开(公告)号:CN113506229A
公开(公告)日:2021-10-15
申请号:CN202110799904.5
申请日:2021-07-15
Applicant: 清华大学
Abstract: 本公开涉及一种神经网络训练和图像生成方法及装置,所述方法包括:将样本场景的样本动态视觉信息输入第一重建网络进行处理,获得第一重建结果;将样本场景的样本色彩图像输入第二重建网络进行处理,获得第二重建结果;根据样本色彩图像、第一重建结果及第二重建结果,确定第一重建网络和第二重建网络的综合网络损失;根据综合网络损失,训练第一重建网络和所述第二重建网络。根据本公开的实施例的神经网络训练方法,可通过训练使得动态视觉信息对应的特征图与色彩图像对应的特征图更接近,还可使得第二重建网络输出的第二重建图像更接近真实的色彩图像,可提升与第二重建图像接近的第一重建图像的准确程度和逼真程度。
-
公开(公告)号:CN111083402A
公开(公告)日:2020-04-28
申请号:CN201911348653.8
申请日:2019-12-24
Applicant: 清华大学
IPC: H04N5/369 , H04N5/3745 , H04N9/04
Abstract: 本发明实施例提供了一种双模态仿生视觉传感器,通过第一类电流模式有源像素传感器电路模拟兴奋型视杆细胞的作用,实现对目标光信号中的光强梯度信息的感知作用,进而提高仿生视觉传感器图像的动态范围,提高拍摄速度。而且,为每个非目标第一类感光器件引入一个第一类控制开关,可以对得到的光强梯度信息进行控制,实现对仿生视觉传感器图像的动态范围的调整,进而实现对拍摄速度的调整,实现了可重配的效果。通过电压模式有源像素传感器模拟视锥细胞的作用,可以输出表征目标光信号中的光强信息的目标电压信号,实现对目标光信号中的光强信息的感知作用,得到的目标电压信号表征光强信息的精度更高,可以保证得到的图像质量。
-
公开(公告)号:CN113506323B
公开(公告)日:2024-04-12
申请号:CN202110801135.8
申请日:2021-07-15
Applicant: 清华大学
IPC: G06T7/246 , G06T5/50 , G06N3/044 , G06N3/0464 , G06N3/08
Abstract: 本公开涉及一种图像处理方法及装置、电子设备和存储介质,所述方法包括:将第一时间段内获取第一色彩图像输入第一光流网络,获得第一光流信息;将第一时间段内的获取动态视觉信息输入第二光流网络,获得第二光流信息;将第一光流信息和第二光流信息进行融合,获得第三光流信息;根据第三光流信息和第一色彩图像,生成第二色彩图像。根据本公开的实施例的图像处理方法,可通过第三光流信息可生成与动态视觉信息对应的色彩图像,可使色彩图像的获取频率提高,有助于对运动对象的运动轨迹或动作进行追踪,提升追踪效果。
-
公开(公告)号:CN112543271B
公开(公告)日:2022-09-02
申请号:CN202011409267.8
申请日:2020-12-03
Applicant: 清华大学
Abstract: 本发明实施例公开了一种双模态紫外仿生视觉传感器。该双模态紫外仿生视觉传感器包括:第一传感电路,用于提取目标光信号中第一设定波段的光信号,并输出表征所述第一设定波段的光信号的光强变化量的电流信号;第二传感电路,用于提取目标光信号中第二设定波段的光信号,并输出表征所述第二设定波段的光信号的光强的电压信号;其中,所述第一设定波段和所述第二设定波段中的至少一种包括紫外线波段。本发明实施例提供的双模态紫外仿生视觉传感器,不但能够同时采集高质量的色彩光强信号与高速的灰度变化量信号,还能够感知目标光信号中紫外线的色彩光强信息和/或光强变化信息,进一步拓宽了双模态紫外仿生视觉传感器的应用场景。
-
公开(公告)号:CN113506325A
公开(公告)日:2021-10-15
申请号:CN202110801140.9
申请日:2021-07-15
Applicant: 清华大学
Abstract: 本公开涉及一种图像处理方法及装置、电子设备和存储介质,所述方法包括:对第一色彩图像进行目标特征提取处理,获得目标对象的目标特征信息;将第一时刻获取的动态视觉信息输入第一特征提取网络,获得第一特征图;根据目标特征信息和第一特征图,确定目标对象在第一时刻的位置信息。根据本公开的实施例的图像处理方法,可利用获取频率较高的动态视觉信息获得第一特征图,并基于第一特征图来确定目标对象在获取到动态视觉信息的第一时刻的位置信息。由于动态视觉信息的频率高于色彩图像的获取频率,可通过第一特征图确定两帧色彩图像之间的时间段中的多个时刻的位置信息,有助于对运动物体的运动轨迹或动作进行跟踪。
-
-
-
-
-
-
-
-
-