一种基于时空上下文的视频全景分割方法

    公开(公告)号:CN114494335A

    公开(公告)日:2022-05-13

    申请号:CN202210102817.4

    申请日:2022-01-27

    Abstract: 本发明公开了一种基于时空上下文的视频全景分割方法,包括以下步骤:将待全景分割的视频处理为连续的图像序列;获取图像序列间的光流;获取图像序列中每幅图像的图像全景分割结果;基于光流所蕴含的视频时间上下文信息和图像序列所蕴含的空间上下文信息,对图像序列中每幅图像的图像全景分割结果进行分割边缘精细化优化,获得优化后的图像全景分割结果;基于光流所蕴含的视频时间上下文信息和优化后的图像全景分割结果,将图像序列中出现的每个物体进行一致性关联,获得视频全景分割结果。本发明的视频全景分割方法,可获得更准确的视频全景分割结果。

    一种虚拟人体图像生成方法、系统、设备及介质

    公开(公告)号:CN113592971A

    公开(公告)日:2021-11-02

    申请号:CN202110865481.2

    申请日:2021-07-29

    Abstract: 本发明公开了一种虚拟人体图像生成方法、系统、设备及介质,所述方法包括:将源人体图像和目标姿态图像输入预训练好的虚拟人体图像生成网络,获得目标姿态人体图像;其中,虚拟人体图像生成网络为卷积神经网络,包括:编码器,用于输入源人体图像和目标姿态图像,编码获得源人体特征和目标人体特征;基于结构的外观生成模块,用于输入源人体特征和目标人体特征并进行更新,获得更新后的源人体特征和目标人体特征;解码器,用于输入基于结构的外观生成模块输出的目标人体特征,解码获得目标姿态人体图像。本发明利用基于人体结构的姿态引导下的虚拟人体图像生成网络,能够生成有着正确目标姿态的逼真人体图像。

    基于动作三元组引导的时序动作定位方法、系统、设备及介质

    公开(公告)号:CN113569758A

    公开(公告)日:2021-10-29

    申请号:CN202110866995.X

    申请日:2021-07-29

    Abstract: 本发明公开了一种基于动作三元组引导的时序动作定位方法、系统、设备及介质,所述方法包括以下步骤:基于动作开始位置集合、动作中心位置集合和动作结束位置集合,获得候选动作提案集合;其中,所述候选动作提案集合中每个提案生成的具体操作包括:从动作开始位置集合中选取动作开始位置,从动作中心位置集合中选取动作中心位置,从动作结束位置集合中选取动作结束位置;将选取的动作开始位置、动作中心位置和动作结束位置连接形成提案;获取所述候选动作提案集合中每个提案的提案特征;基于每个提案的提案特征,通过预训练好的分类器和回归器预测类别和边界偏移,获得时序动作定位结果。本发明能够实现更精确的动作定位。

    基于对偶关系网络的时序动作定位方法、系统、设备及介质

    公开(公告)号:CN113569755A

    公开(公告)日:2021-10-29

    申请号:CN202110866978.6

    申请日:2021-07-29

    Abstract: 本发明公开了一种基于对偶关系网络的时序动作定位方法、系统、设备及介质,所述方法包括以下步骤:将待时序动作定位的原始视频序列分解为若干个视频片段并编码,获得编码后的视频特征序列;基于编码后的视频特征序列,获得候选的动作提案集合;利用预训练好的对偶关系网络对所述候选的动作提案集合中的每个提案进行信息更新,获得提案信息更新后的动作提案集合;基于所述提案信息更新后的动作提案集合,获得时序动作定位结果。本发明中,首次提出建模并推理动作提案之间的关系以及动作提案与全局上下文之间的关系,以丰富和补充动作提案表征,进而准确地分类动作和精确地检测动作边界。

    一种基于周围环境与行为意图的车辆轨迹预测方法、系统及装置

    公开(公告)号:CN112133089A

    公开(公告)日:2020-12-25

    申请号:CN202010936140.5

    申请日:2020-09-08

    Abstract: 本发明提供了一种基于周围环境与行为意图的车辆轨迹预测方法、系统及装置,包括:基于传感器信息以及道路信息,生成在历史时间段内车辆相对于车道的位置、速度信息;根据生成的信息对车辆的行为意图构建隐马尔可夫模型,将车辆对于环境的理解总结为规则作为模型的先验概率,预测当前时刻车辆的行为意图;根据预测的车辆行为意图,结合车辆环境信息,基于行为决策模型设置车辆预测终点状态集,根据车辆起点状态以及终点状态对车辆轨迹采样,并根据代价函数筛选得到第一采样轨迹;使用状态滤波,对车辆初始状态递推采样,得到第二采样轨迹;使用融合权重函数合并第一采样轨迹和第二采样轨迹,得到预测轨迹,采用本发明中的方法,能够预测周围车辆未来的轨迹,为无人驾驶车辆提供危险预警和路径规划参考。

    一种基于样本的选择性知识蒸馏方法及系统

    公开(公告)号:CN115761403B

    公开(公告)日:2025-05-02

    申请号:CN202211441887.9

    申请日:2022-11-17

    Abstract: 本发明公开了一种基于样本的选择性知识蒸馏方法及系统,首先训练分割SEG图像和RGB图像分别完成VPR任务的网络,再将SEG特征中包含的高质量知识迁移到RGB特征中,将分割图像中的不变性特征在RGB特征中进行强化的同时,不需要在测试时保留额外的分支网络,将分割图像通过加权独热编码输入到训练网络中,提取针对视觉位置识别任务的场景结构信息;通过基于样本的选择性知识蒸馏,根据重要性施加不同的蒸馏损失权重,通过知识蒸馏的方式将额外模态信息中的不变性特征在RGB特征中进行强化,定向地强化高质量的知识,更大程度地提升网络精度;最终网络在测试时只用到RGB图像进行全局检索,兼顾了系统的实时性、高精度和环境鲁棒性。

    一种面向社会交互行为的机器人兼容导航方法及系统

    公开(公告)号:CN118706120A

    公开(公告)日:2024-09-27

    申请号:CN202410691517.3

    申请日:2024-05-30

    Abstract: 本发明提出一种面向社会交互行为的机器人兼容导航及系统,该方法利用无监督自编码器,基于行人的可观测轨迹信息,提取行人的社会行为偏好特征;结合深度强化学习与时空注意力机制,构建一个时空图网络作用于描述机器人与行人之间的动态交互关系,并对行人的未来移动意图进行预测;结合行人社会行为偏好特征和行人的未来移动意图进行预测结果,通过基于Actor‑Critic框架的无模型深度强化学习算法优化机器人的导航策略;基于响应实时感测数据和预测数据,调整机器人的行动路径和速度。本发明通过无模型深度强化学习实现,无需人工标注,能够有效提升机器人在人群中的社会兼容性导航能力,能显著提高导航成功率,降低碰撞风险,缩短目的地到达时间。

Patent Agency Ranking