公开(公告)号：CN109168003B

公开(公告)日：2020-11-03

申请号：CN201811024913.1

申请日：2018-09-04

Applicant: 中国科学院计算技术研究所

Inventor： 金贝贝 ,  胡瑜 ,  曾一鸣 ,  唐乾坤 ,  刘世策 ,  叶靖

IPC: H04N19/503 ,  H04N19/70 ,  H04N19/44

Abstract: 本发明提供一种训练用于视频预测的生成器模型G的方法，使得使用该模型可以以较少的计算量获得更好的、长时间的视频预测效果。所述生成器模型G中包括采用神经网络模型结构的编码器与解码器，所述编码器与所述解码器之间采用跳变连接，用于生成预测的帧间差ΔX，所述预测的帧间差ΔX与训练样本求和的结果为预测帧所述方法，包括：1)选择连续的视频帧作为训练样本，并提取训练样本的帧间差；2)将所述帧间差作为生成器模型G中编码器的输入，基于第一损失函数训练获得所述编码器与所述解码器的神经网络权值：其中，ΔXi‑1为与第i个帧间差相关的值，Xi为训练样本中的第i帧，为第i个预测帧，Xi和与所述编码器与所述解码器的神经网络权值相关。

公开(公告)号：CN109447923A

公开(公告)日：2019-03-08

申请号：CN201811129666.1

申请日：2018-09-27

Applicant: 中国科学院计算技术研究所

Inventor： 刘世策 ,  胡瑜 ,  曾一鸣 ,  唐乾坤 ,  金贝贝 ,  韩银和 ,  李晓维

IPC: G06T5/50 ,  G06T7/10 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种语义场景补全方法和系统，包括：获取已标注的彩色图像和深度图像，作为训练数据，其中彩色图像和深度图像已标注语义分割标签和语义场景补全标签；使用训练数据训练卷积神经网络，得到语义分割模型和语义场景补全模型，将待语义场景补全的待补全图像输入至语义分割模型，得到语义分割结果；根据拍摄彩色图像的相机参数和深度图像，得到彩色图像中像素和深度图像中体素的映射关系，根据映射关系将语义分割结果投影到三维空间，得到待补全图像的语义场景表面；对语义场景表面进行离散化处理后输入至语义场景补全模型，得到待补全图像的三维结构和待补全图像中物体的类别，输出三维结构和类别作为待补全图像的语义场景补全结果。

公开(公告)号：CN109583483B

公开(公告)日：2020-12-11

申请号：CN201811347546.9

申请日：2018-11-13

Applicant: 中国科学院计算技术研究所

Inventor： 唐乾坤 ,  胡瑜 ,  金贝贝 ,  曾一鸣 ,  刘世策 ,  叶靖

IPC: G06K9/62

Abstract: 本发明涉及一种基于卷积神经网络的目标检测方法和系统，包括：使用多种尺度的卷积核分别提取待测图片的卷积特征图；使用全连接层调节卷积特征图每一个空间位置的特征向量，得到第一特征图，将其拼接得到拼接特征图，使用全连接层调节拼接特征图每个通道的特征信息，得到第二特征图；为第二特征图的每个空间位置上设定不同尺度和长宽比的锚点框，锚点框的坐标和大小是相对于待测图片的坐标系；将每个锚点框投影到第二特征图上，使用区域特征提取操作提取投影之后锚点框内部的特征，并将框选有物体的锚点框作为目标候选框；使用目标识别网络对目标候选框中的物体进行分类以及回归目标候选框的准确位置和大小。

公开(公告)号：CN109583483A

公开(公告)日：2019-04-05

申请号：CN201811347546.9

申请日：2018-11-13

Applicant: 中国科学院计算技术研究所

Inventor： 唐乾坤 ,  胡瑜 ,  金贝贝 ,  曾一鸣 ,  刘世策 ,  叶靖

IPC: G06K9/62

Abstract: 本发明涉及一种基于卷积神经网络的目标检测方法和系统，包括：使用多种尺度的卷积核分别提取待测图片的卷积特征图；使用全连接层调节卷积特征图每一个空间位置的特征向量，得到第一特征图，将其拼接得到拼接特征图，使用全连接层调节拼接特征图每个通道的特征信息，得到第二特征图；为第二特征图的每个空间位置上设定不同尺度和长宽比的锚点框，锚点框的坐标和大小是相对于待测图片的坐标系；将每个锚点框投影到第二特征图上，使用区域特征提取操作提取投影之后锚点框内部的特征，并将框选有物体的锚点框作为目标候选框；使用目标识别网络对目标候选框中的物体进行分类以及回归目标候选框的准确位置和大小。

公开(公告)号：CN109168003A

公开(公告)日：2019-01-08

申请号：CN201811024913.1

申请日：2018-09-04

Applicant: 中国科学院计算技术研究所

Inventor： 金贝贝 ,  胡瑜 ,  曾一鸣 ,  唐乾坤 ,  刘世策 ,  叶靖

IPC: H04N19/503 ,  H04N19/70 ,  H04N19/44

Abstract: 本发明提供一种训练用于视频预测的生成器模型G的方法，使得使用该模型可以以较少的计算量获得更好的、长时间的视频预测效果。所述生成器模型G中包括采用神经网络模型结构的编码器与解码器，所述编码器与所述解码器之间采用跳变连接，用于生成预测的帧间差ΔX，所述预测的帧间差ΔX与训练样本求和的结果为预测帧 所述方法，包括：1)选择连续的视频帧作为训练样本，并提取训练样本的帧间差；2)将所述帧间差作为生成器模型G中编码器的输入，基于第一损失函数训练获得所述编码器与所述解码器的神经网络权值： 其中，ΔXi-1为与第i个帧间差相关的值，Xi为训练样本中的第i帧，为第i个预测帧，Xi和与所述编码器与所述解码器的神经网络权值相关。