一种从视频中提取视频关键帧的方法

    公开(公告)号:CN103533237A

    公开(公告)日:2014-01-22

    申请号:CN201310456215.X

    申请日:2013-09-29

    Applicant: 清华大学

    Abstract: 本发明涉及一种从视频中提取视频关键帧的方法,属于图像处理技术领域。本发明的从视频中提取视频关键帧的方法,操作人员通过装置对感兴趣的场景进行视频拍摄。在拍摄过程中装置同步记录视频的视频帧、加速度信息、方位信息和尺度信息。拍摄完成后直接根据加速度信息、方位信息和尺度信息,对每一帧视频帧计算其权重。最后根据权重和期望的关键帧数目来提取期望的视频关键帧。本发明提出的从视频中提取视频关键帧的方法,可以用更小的计算量更准确的从视频中提取视频关键帧。

    一种基于双目视觉的气浮遥操作平台

    公开(公告)号:CN101863038B

    公开(公告)日:2011-09-14

    申请号:CN201010191290.4

    申请日:2010-05-28

    Applicant: 清华大学

    Abstract: 本发明涉及一种基于双目视觉的气浮遥操作平台,属于空间机器人技术领域。其中,高压气瓶置于气浮平台内,气浮平台的底部设有气足和喷嘴。机械臂安装基座、电源模块、电机驱动器和控制器。置于气浮平台上。控制器通过连接电缆与电磁阀相连。高压气瓶的阀门分别与喷嘴和气足相连。双目视觉装置和两个机械臂通过机械臂安装基座固定在气浮平台上。机械臂由肩关节、大臂、肘关节、小臂和手爪组成,肩关节固定在机械臂安装基座上,大臂、肘关节、小臂依次与肩关节相连接。本发明遥操作平台,既能够多方位的观察目标物,又利用双目视觉给出到目标物的深度信息,利于遥操作人员对远端环境的了解,避免了碰撞等意外的发生。

    一种空间机器人的对接装置

    公开(公告)号:CN101913435A

    公开(公告)日:2010-12-15

    申请号:CN201010232569.2

    申请日:2010-07-16

    Applicant: 清华大学

    Abstract: 本发明涉及一种空间机器人的对接装置,属于空间机器人技术领域。对接装置的母座中心开有对接通孔,其侧壁上开有定位槽和弹簧槽。活塞从母座的一侧伸入母座中心的对接通孔中,活塞的端部设有凹台,凹台的内侧壁上设有卡位钢球。锥柄从母座的另一侧伸入母座中心的对接通孔中,锥柄上开有通过圆心的横向定位通孔,锥柄的端部设有凸台,该凸台伸入活塞端部的凹台中。弹簧置于母座中心对接通孔侧壁的弹簧槽中。红外发射管和红外接收管分别置于母座中心对接通孔侧壁的定位槽中,并分别位于锥柄的横向定位通孔的两侧。本对接装置,结构简单,便于设计制造;可以简单、方便地实现对锥柄的锁紧和释放;可以精确的进行两个空间机器人的对准姿态调整。

    一种带有摄像机的遥操作双边控制模拟装置

    公开(公告)号:CN101863027A

    公开(公告)日:2010-10-20

    申请号:CN201010176774.1

    申请日:2010-05-14

    Applicant: 清华大学

    Abstract: 本发明涉及一种带有摄像机的遥操作双边控制模拟装置,属于机器人技术领域。包括基座、四组转动机构、第一主端操作臂、第二主端操作臂、第一从端操作臂、第二从端操作臂和摄像机。四组转动机构分别固定在基座上。第一主端操作臂和第二主端操作臂分别固定在基座一侧转动机构的连接件上,第一从端操作臂和第二从端操作臂分别固定在基座另一侧转动机构的连接件上。摄像机固定在基座上,并处于第一从端操作臂和第二从端操作臂的上方。本发明的模拟装置,可有效克服时延对双边控制系统带来的影响,可以进行双臂协调双边控制实验。

    三维动态场景的重建方法、装置和存储介质

    公开(公告)号:CN119295651B

    公开(公告)日:2025-05-16

    申请号:CN202411290735.2

    申请日:2024-09-14

    Applicant: 清华大学

    Inventor: 刘华平 陈子龙

    Abstract: 本公开提出一种三维动态场景的重建方法,包括:获取动态场景的多视角同步视频;计算不同视角视频图像之间的匹配点,估计各相机的内外参;根据各匹配点深度构建的稀疏点云得到高斯溅射点集{p0};对所有视频的首帧图像,利用{p0}对其进行静态训练,得到高斯溅射点集{p};对其余帧图像,将{p}分为静态点集{S}与动态点集{D},对{D}进行动态训练,由{p}、{S}和最终得到的{D}构成动态高斯溅射点集#imgabs0#结合相机的内外参对#imgabs1#按照高斯溅射的渲染管线进行渲染,得到新视角不同时刻的渲染图像。本公开可以从多视角的同步视频中恢复出动态三维场景,能够在分钟级的时间内完成训练并且在训练后实现实时渲染。

    多机器人视觉语义导航方法、装置和存储介质

    公开(公告)号:CN119223305A

    公开(公告)日:2024-12-31

    申请号:CN202411190280.7

    申请日:2024-08-28

    Applicant: 清华大学

    Abstract: 本公开涉及一种多机器人视觉语义导航方法,多个机器人有各自的可通行区域,每个机器人根据其过去对场景的观测建立语义地图,并通过彼此间的通讯来完善语义地图。在进行顶层规划时,机器人不仅考虑每个位置存在目标物体的概率,还综合考虑对该位置预测的不确定性,将概率和不确定性进行加权求和后选择可行域中分值最高的点作为下一步的目标位置,在导航的过程中持续更新可行域地图和语义地图,直到其中一个机器人找到目标物体时停止。本公开平衡了探索与利用间的关系,让机器人在初期时进行尽可能多的探索,而在对环境有一定的感知信息后能够更快的定位到目标物体,用于各场景的目标物体寻找,且目标物体的类别为语义地图中任一类,无需额外训练。

    基于大模型的红外-光学融合场景语义描述方法及装置

    公开(公告)号:CN118898842A

    公开(公告)日:2024-11-05

    申请号:CN202410866245.6

    申请日:2024-07-01

    Applicant: 清华大学

    Abstract: 本发明提出一种基于大模型的红外‑光学融合场景语义描述方法及装置,属于图像描述、计算机视觉技术领域。其中,所述方法包括:将获取的可见光和红外图像对输入预设的场景描述模型,得到该图像对的初始场景描述语句;将该图像对的红外图像输入预设的目标检测模型,得到红外图像中每个目标检测框对应目标的种类以及目标的中心点坐标和相对尺寸;将上述信息输入提示优化完毕的大语言模型,该大语言模型输出对应该图像对的最终场景描述语句。本发明将目标检测技术、场景描述技术通过大语言模型技术结合起来,可克服以往图像描述模型不能适用于暗光场景或描述不准确的缺陷,特别是在光线不足的条件下可生成准确详细的场景描述,有较高的应用价值。

    一种基于语义地图的目标搜索方法

    公开(公告)号:CN113505646B

    公开(公告)日:2024-04-12

    申请号:CN202110648665.3

    申请日:2021-06-10

    Applicant: 清华大学

    Abstract: 本发明提出一种基于语义地图的目标搜索方法,属于机器人导航、计算机视觉领域。该方法首先建立语义关系图,对待进行目标搜索的空间建立导航图并选取采样点,在各采样点从多视角采集RGB图和深度图;机器人根据任一采样点单个视角的RGB图获得该视角中物体的语义掩膜,结合深度图完成该视角局部的三维语义重建;整合所有局部的三维语义重建,得到待进行目标搜索的空间的语义点云;去除点云中的z维数据并去噪,得到该空间的语义地图;机器人在语义地图中查询待搜索的目标物体是否为已知物体并执行相应的搜索策略;搜索完成后,更新未知目标物体与各父类物体的语义关系图。本发明可使机器人对真实环境具有良好感知能力,提高目标搜索的效率。

    双机械臂操作问答方法、装置、电子设备和存储介质

    公开(公告)号:CN113838042B

    公开(公告)日:2023-11-10

    申请号:CN202111163679.2

    申请日:2021-09-30

    Applicant: 清华大学

    Abstract: 本公开提供的双机械臂操作问答方法、装置、电子设备和存储介质,包括:将获取的操作场景的RGB图像和深度图像并行输入残差‑特征分层网络,以提取RGB图像和深度图像的特征映射;输入物品操作问题经过基于长短时记忆网络的自然语言处理模型处理后输出第一特征向量;将特征映射与第一特征向量进行连接得到双机械臂的操作初始状态;构建双机械臂问答操作模型,将操作初始状态输入至双机械臂问答操作模型中进行训练,输出双机械臂的操作动作,与环境进行交互,得到物品操作问题答案并输出。本公开打破了传统上问答系统的被动感知,将其转变为主动探索环境,并且双机械臂协同操作能够实现复杂任务的有序控制,减少对工装夹具的依赖。

    一种异构机器人协同目标搜索系统及方法

    公开(公告)号:CN116862143A

    公开(公告)日:2023-10-10

    申请号:CN202310694841.6

    申请日:2023-06-13

    Applicant: 清华大学

    Abstract: 本发明提出具一种异构机器人协同目标搜索系统及方法,属于多机器人协作领域。其中,所述系统包括相互连接的通讯模块、任务分配模块和多个异构机器人;所述通讯模块用于获取用户自然语言指令并进行关系抽取处理,得到包含目标物体及其相关信息的文本抽取结果并发送给搜索任务分配模块;所述任务分配模块用于生成所述目标物体的搜索任务并分解为每个机器人基于自身条件可执行的子任务;所述机器人用于执行子任务并将结果通过所述通讯模块反馈给用户。本发明改善了同构机器人在视线盲区搜索任务受到局限的缺陷,充分利用异构机器人的身高差带来的不同的视线范围优势,对执行更加精准的协同搜索任务具有极大的实用意义。

Patent Agency Ranking