-
公开(公告)号:CN115880888B
公开(公告)日:2025-01-24
申请号:CN202211503899.X
申请日:2022-11-28
Abstract: 本发明涉及一种基于数字孪生的交叉路口安全引导方法、设备、介质,所述方法包括如下步骤:模型构建:3D软件中构建城市交叉路口系统及弱势群体模型;神经网络模型的部署和训练:3D软件中在摄像机视角下采集路口弱势群体图像信息获取训练集进行训练;数据采集与处理:3D软件中的摄像机采集图像数据。边缘计算主机处理图像。结果传输至虚拟环境服务器及实体交通设备控制端;控制交通设备:接收信号,控制红绿灯及音频设备,通过语音播报引导目标通过路口。本方法可以很好的解决交叉路口安全引导弱势群体这一难题。与传统方法相比,本方法成本低、可拓展性强、非佩戴式且适用范围广。
-
公开(公告)号:CN115953644A
公开(公告)日:2023-04-11
申请号:CN202211616968.8
申请日:2022-12-15
IPC: G06V10/774 , G06V10/764 , G06V10/74 , G06V10/40 , G06V10/80 , G06V10/762 , G06V10/82 , G06V40/10 , G06T7/246 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于视觉与时空融合估计的跨域行人重识别方法,该方法包括:S1、源域中训练初始视觉分类器;S2、提取目标域中无标签行人图像视觉特征,计算特征相似度,并保存时空信息;S3、构建Weibull分布方程估计目标域时空模型;S4、将源域视觉分类器与目标域时空模型进行融合估计得到联合评分并排序;S5、根据排序结果选取难样本挖掘三元组更新视觉分类器模及时空融合模型;S6、根据相似度联合评分对跨摄像头下行人编号聚类重新分配编号并显示可视化结果。与现有技术相比,本发明解决了目标域为开放集时很难标注数据的问题,克服了跨域场景下纯视觉模型识别准确率过低的问题,更好地实现了非重叠视野下跨摄像头持续跟踪行人目标的难题。
-
公开(公告)号:CN115880888A
公开(公告)日:2023-03-31
申请号:CN202211503899.X
申请日:2022-11-28
Abstract: 本发明涉及一种基于数字孪生的交叉路口安全引导方法、设备、介质,所述方法包括如下步骤:模型构建:3D软件中构建城市交叉路口系统及弱势群体模型;神经网络模型的部署和训练:3D软件中在摄像机视角下采集路口弱势群体图像信息获取训练集进行训练;数据采集与处理:3D软件中的摄像机采集图像数据。边缘计算主机处理图像。结果传输至虚拟环境服务器及实体交通设备控制端;控制交通设备:接收信号,控制红绿灯及音频设备,通过语音播报引导目标通过路口。本方法可以很好的解决交叉路口安全引导弱势群体这一难题。与传统方法相比,本方法成本低、可拓展性强、非佩戴式且适用范围广。
-
公开(公告)号:CN118298262A
公开(公告)日:2024-07-05
申请号:CN202310007567.0
申请日:2023-01-04
Abstract: 本发明提供一种多传感器融合的稠密VSLAM方法,该方法采用将端侧设备的视觉、IMU、GPS等多传感器数据进行融合的方式,对现实场景中的端侧设备位姿实现精确估计,并使用深度估计网络在机载平台上实时运行获取视觉数据的深度特征,将深度特征和端侧设备运动轨迹以及周围环境结合,使VSLAM系统对端侧设备周围场景进行更加精确的构建,从而进行稠密建图,实现完整的VSLAM功能。通过本发明的方法,能够解决单目相机传感器的尺度缺失问题,VIO系统的累计误差问题,得到更加精确的位姿结果,同时能够对场景地图进行精准的稠密构建,得到全局信息,适合端侧设备在现实场景中执行运动任务。
-
公开(公告)号:CN115810357A
公开(公告)日:2023-03-17
申请号:CN202211503850.4
申请日:2022-11-28
Abstract: 本申请涉及一种轻量级语音关键词识别方法、设备、介质,所述方法包括:获取待识别语音,并转换为特征帧向量,输入关键词识别模型,获取与目标关键词匹配的分类标签的概率数组,根据概率数组确定待识别语音内是否包含目标关键词,其中,关键词识别模型包括:时间卷积模块,包括多个按照预设的空洞系数组合的卷积层,用于提取时序间相关性信息;嵌套模块;压缩模块,包括多个按照预设的步长组合的卷积层,用于对时间卷积模块和嵌套模块的输出在通道深度拼接后的数据进行压缩与特征提取;全连接分类输出模块,用于获取概率数组。在参数量及运算复杂度均较小的轻量级约束下,本方法获得了较好识别准确率,从而更适合在嵌入式系统上进行部署。
-
公开(公告)号:CN118583158A
公开(公告)日:2024-09-03
申请号:CN202410432875.2
申请日:2024-04-11
Abstract: 本发明属于视觉惯性里程计技术领域,具体为一种基于事件相机的高频率的视觉惯性里程计方法。本发明利用异步角点检测算法创建事件块,再对事件块进行对齐构建视觉特征误差函数,实现对系统位姿的估计,并通过对事件块中心坐标进行参数化和在对齐时引入IMU预积分数据提高事件块对齐精度和速度,最后采用联合优化的方式将事件块的视觉误差、IMU的惯性误差和边缘化先验误差构建成代价函数,通过优化估计出系统的位姿信息,提高系统的精度和输出频率。本发明方法解决了在高动态、高速环境下,系统难以以高频率输出精准的位姿信息的问题,为极端场景下运行的穿越机或自动驾驶位姿信息获取提供解决方案。
-
公开(公告)号:CN115454130B
公开(公告)日:2025-03-14
申请号:CN202211168834.4
申请日:2022-09-25
Applicant: 复旦大学
Abstract: 本发明属于无人机控制技术领域,具体为一种基于机载视角相对定位的室内无人机编队控制方法。本发明方法包括:地面站预先规定室内飞行过程中期望的无人机编队队形,包括设定跟随者与领航者之间期望的距离以及角度,并根据预先设定的飞行任务,规划领航者飞行路径,跟随者通过机载摄像头第一视角完成动态飞行中对领航者机载标签的相对定位,不需要全局定位信息。系统包括:地面控制站、无人机、通信设备,地面控制站包括视觉图像处理系统与编队控制器,通信设备包括收发机及路由器。与传统的编队方案相比,本发明仅利用机载视觉传感器,硬件成本低,稳定性好且适用范围广,属于轻量级的无人机编队系统。
-
公开(公告)号:CN113643212B
公开(公告)日:2024-04-05
申请号:CN202110994446.0
申请日:2021-08-27
Applicant: 复旦大学
IPC: G06T5/70 , G06T5/60 , G06N3/0464 , G06N3/045 , G06N3/084
Abstract: 本发明提供一种基于图神经网络的深度图降噪方法,包括如下步骤:步骤1,获取二维的RGB图像和深度图像并进行特征选择,得到相应的特征通道数据,而后将已选择的特征通道数据映射为向量形式,得到多个特征向量并进行拼接,得到特征矩阵,同时采用田字结构选择邻居节点,构造邻接表;步骤2,构造基于图卷积网络GCN和注意力机制层的网络模型;步骤3,对误差函数进行优化,而后与网络模型结合,得到优化后的网络模型;步骤4,将特征矩阵和邻接表输入优化后的网络模型,得到降噪后的深度图像。采用本发明的方法降低了网络模型的参数量,无需对图像进行裁剪,有效地提高了端到端网络的深度图降噪的性能。
-
公开(公告)号:CN113643212A
公开(公告)日:2021-11-12
申请号:CN202110994446.0
申请日:2021-08-27
Applicant: 复旦大学
Abstract: 本发明提供一种基于图神经网络的深度图降噪方法,包括如下步骤:步骤1,获取二维的RGB图像和深度图像并进行特征选择,得到相应的特征通道数据,而后将已选择的特征通道数据映射为向量形式,得到多个特征向量并进行拼接,得到特征矩阵,同时采用田字结构选择邻居节点,构造邻接表;步骤2,构造基于图卷积网络GCN和注意力机制层的网络模型;步骤3,对误差函数进行优化,而后与网络模型结合,得到优化后的网络模型;步骤4,将特征矩阵和邻接表输入优化后的网络模型,得到降噪后的深度图像。采用本发明的方法降低了网络模型的参数量,无需对图像进行裁剪,有效地提高了端到端网络的深度图降噪的性能。
-
公开(公告)号:CN109584213A
公开(公告)日:2019-04-05
申请号:CN201811316393.1
申请日:2018-11-07
Applicant: 复旦大学
CPC classification number: G06T7/0002 , G06N3/0454 , G06T2207/10016 , G06T2207/20081 , G06T2207/20104
Abstract: 本发明涉及一种基于深度学习的实时自主跟踪方法,提出了基于深度学习的人工神经网络的计算机视觉目标检测与计算机视觉目标跟踪算法,可利用高性能计算单元运行神经网络的运算单元检测目标,而后运行目标跟踪算法对所有目标同时实现跟踪,并可以手工介入选择特定目标专注单人跟踪。相比较传统的单目标跟踪算法,传统单目标跟踪需要手动框选目标,但对于移动目标,框选时往往会因为操作延时导致框选失效。本算法避免了人工框选目标的操作延时导致的框选不准和目标偏离。本发明构建了“摄像头-服务器”的架构,将摄像头中所有目标数据同时处理,实现全区域的多人跟踪和单人持续跟踪,实验结果表明,本发明能够实现实时的神经网络运算,进而结合目标跟踪算法,实现“检测、选人”两步跟踪效果。
-
-
-
-
-
-
-
-
-