公开(公告)号：CN116634110B

公开(公告)日：2023-10-13

申请号：CN202310904731.8

申请日：2023-07-24

Applicant: 清华大学 ,  中移(杭州)信息技术有限公司

Inventor： 赵鲁 ,  程宝平 ,  谢小燕 ,  陶晓明 ,  付涛 ,  黄炎 ,  尚子钦

IPC: H04N7/18 ,  G08B19/00 ,  H04N23/20 ,  H04N23/90 ,  G06V20/52 ,  G06N3/0464 ,  G06V10/143 ,  G06V10/56 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40

Abstract: 本申请提供了一种基于语义编解码的夜间智能养殖监控系统，涉及人工智能领域，包括：RGB摄像头，用于产生RGB视频流；红外摄像头，用于产生红外视频流；编解码子系统，用于对所述RGB视频流和所述红外视频流分别进行语义编解码，得到RGB视频图像和红外视频图像；异常检测子系统，用于将所述RGB视频图像和所述红外视频图像输入预先训练的异常检测网络进行异常检测，得到入侵检测结果和烟火检测结果。通过将RGB摄像头与红外摄像头相结合，可以获得较好的监控画面；通过对视频流进行语义编码，有利于弱网环境下的视频传输；通过预先训练的异常检测网络对视频图像进行异常检测，实现多任务输出，能够及时发现监控环境中的异常情况。

公开(公告)号：CN116743609A

公开(公告)日：2023-09-12

申请号：CN202311013701.4

申请日：2023-08-14

Applicant: 清华大学 ,  中移(杭州)信息技术有限公司

Inventor： 程宝平 ,  陶晓明 ,  张健 ,  谢小燕 ,  付涛 ,  林嘉铭 ,  徐桦

IPC: H04L41/5067 ,  H04L41/5009 ,  H04N21/44 ,  H04N21/647

Abstract: 本申请提供了一种基于语义通信的视频流媒体的QoE评估方法及装置，首先通过语义通信解码端解码进行视频重建，生成重建视频流媒体。然后通过语义通信解码端获取重建视频流媒体的QoS表征，并确定其对应的基准QoE评分。同时，对重建视频流媒体中各个重建视频帧进行前景语义分析，得到对应的前景语义一致性表征，并比较相邻两个视频帧的前景语义一致性表征，得到QoE偏移量。最后通过语义通信解码端根据基准QoE评分和QoE偏移量，得到重建视频流媒体的QoE评分。其从服务质量和视频内容因素两方面考虑，根据QoS特征和语义特征对语义通信过程中产生的重建视频流媒体的体验质量QoE进行综合评估，使得结果更加真实、有效。

公开(公告)号：CN116708725A

公开(公告)日：2023-09-05

申请号：CN202310980716.1

申请日：2023-08-07

Applicant: 清华大学 ,  中移(杭州)信息技术有限公司

Inventor： 程宝平 ,  陶晓明 ,  尚子钦 ,  黄炎 ,  谢小燕

IPC: H04N7/18 ,  H04N19/42 ,  G06V20/52 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/08 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40

Abstract: 本发明提供了一种基于语义编解码的低带宽人群场景安防监控方法及系统，涉及人工智能视频监控领域。本发明中，用户接口获取用户自定义信息，图像处理子系统获取针对人群的监控视频，并对监控视频中包括的连续多帧监控视频帧进行处理，将用户自定义信息作为指引信息，得到每一帧监控视频帧包括的目标对象的素描图和语义属性信息，并发送至图像重建子系统，按照预设周期发送监控视频帧包括的背景区域；图像重建子系统基于目标对象的素描图、语义属性信息和当前周期接收到的背景区域，重建监控视频帧。本发明采用语义编解码的方法，在传输和存储数据时有效压缩数据量，能够节省大量的带宽资源，降低传输成本，以在带宽受限的情况下实现高效的人群安防监控。

公开(公告)号：CN116634110A

公开(公告)日：2023-08-22

申请号：CN202310904731.8

申请日：2023-07-24

Applicant: 清华大学 ,  中移(杭州)信息技术有限公司

Inventor： 赵鲁 ,  程宝平 ,  谢小燕 ,  陶晓明 ,  付涛 ,  黄炎 ,  尚子钦

IPC: H04N7/18 ,  G08B19/00 ,  H04N23/20 ,  H04N23/90 ,  G06V20/52 ,  G06N3/0464 ,  G06V10/143 ,  G06V10/56 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40

Abstract: 本申请提供了一种基于语义编解码的夜间智能养殖监控系统，涉及人工智能领域，包括：RGB摄像头，用于产生RGB视频流；红外摄像头，用于产生红外视频流；编解码子系统，用于对所述RGB视频流和所述红外视频流分别进行语义编解码，得到RGB视频图像和红外视频图像；异常检测子系统，用于将所述RGB视频图像和所述红外视频图像输入预先训练的异常检测网络进行异常检测，得到入侵检测结果和烟火检测结果。通过将RGB摄像头与红外摄像头相结合，可以获得较好的监控画面；通过对视频流进行语义编码，有利于弱网环境下的视频传输；通过预先训练的异常检测网络对视频图像进行异常检测，实现多任务输出，能够及时发现监控环境中的异常情况。