基于边缘设备的实时手语识别与翻译系统及方法

    公开(公告)号:CN117218725A

    公开(公告)日:2023-12-12

    申请号:CN202311346663.4

    申请日:2023-10-18

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于边缘设备的实时手语识别与翻译系统及方法,包括:视频数据采集模块,用于采集手语视频数据;视频预处理模块,包括:视频帧尺寸调整模块、数据归一化模块及视频帧灰度化模块;手语模型模块,用于得到手语模型;结构重参数化模块对手语模型模块得到的手语模型进行优化,得到优化后的手语模型;并保证优化后的模型输出不变。本发明通过提取手语关键局域区域特征与全局帧特征,并将这些特征构建为一个区域感知时空图,利用浅层图卷积网络提取手语特征,并基于所提取的特征训练手语模型,采用结构重参数化技术优化模型,再采用优化后的模型将手语视频识别为单词序列及翻译为自然语言文本。

    基于超声波感知与知识蒸馏的唇语识别系统及方法

    公开(公告)号:CN113011245A

    公开(公告)日:2021-06-22

    申请号:CN202110116571.1

    申请日:2021-01-28

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于超声波感知与知识蒸馏的唇语识别系统及方法,包括:数据收集单元,数据预处理单元,模型训练单元;数据收集单元包括:超声波数据收集模块,视觉数据收集模块;数据预处理单元包括:超声波预处理模块,视觉预处理模块;模型训练单元包括:超声波唇语识别模块,视觉唇语识别模块,知识蒸馏模块;本发明通过使用知识蒸馏的方法,弥补了仅使用超声波信息进行唇语识别的局限性,增强了超声波唇语识别的能力。

    基于触控手势的身份认证系统及其工作方法

    公开(公告)号:CN110472389A

    公开(公告)日:2019-11-19

    申请号:CN201910699761.3

    申请日:2019-07-31

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于触控手势的身份认证系统及其工作方法,该系统包括手势感知模块和身份认证模块;手势感知模块会获取移动设备基于时序的触摸屏和惯性传感器数据,并从获取的时序数据中提取代表用户触屏行为习惯的特征向量;在身份认证模块,基于采集的特征向量数据对特征代表用户行为习惯的有效性进行分析,选择最有效的特征数据来构建手势身份模型,并基于手势身份模型进行身份认证。本发明的身份认证系统,不仅可以获得触屏时输入的内容,还可以感知用户触屏时的隐式手势行为习惯,可以保证非法用户在窥探到手势的情况下,也会因为无法完全模仿合法用户手势行为习惯而验证失败,在实现更高安全性的同时也保持了良好的用户体验。

    一种目标键盘追踪系统及方法

    公开(公告)号:CN110413111A

    公开(公告)日:2019-11-05

    申请号:CN201910615492.8

    申请日:2019-07-09

    Applicant: 南京大学

    Abstract: 本发明公开了一种目标键盘追踪系统及方法,应用于运动的智能眼镜与纸质键盘输入交互场景中;该系统包括:键盘追踪模块及自适应追踪模块;键盘追踪模块包括键盘的提取、特征点对选取、计算变换矩阵和键盘坐标转换;自适应追踪模块包括传感器数据获取、数据分段分析、判断状态并发送是否继续追踪的信号。本发明采用多线程优化技术来降低追踪处理的时延;实现了实时的键盘追踪,并且很好地满足用户的键盘交互输入需求。

    一种分布式室内移动目标导航系统及其工作方法

    公开(公告)号:CN103971144B

    公开(公告)日:2017-01-11

    申请号:CN201410204597.1

    申请日:2014-05-14

    Applicant: 南京大学

    Abstract: 本发明公开了一种分布式室内移动目标导航系统及其工作方法。系统硬件包括部署在室内关键位置的射频识别标签,每个标签对应物理空间的一个位置,标签通过存储事件消息来记录移动个体的位置信息、发生时刻;通过存储请求消息来记录搜索的目标、发起时刻。每个移动个体携带一个微型射频识别读写器。当移动个体从标签旁经过,读写器将事件消息写入标签,当需要寻找一个移动目标时,读写器将请求消息写入标签。其他移动个体经过标签时,读出消息,并携带、存储、转发到其他标签。消息在由射频识别标签组成的网络中传输。本发明利用射频识别标签具有计算和存储能力的特点,实现基于机会传输的室内移动目标导航。

    基于时空语义特征的手语识别系统及方法

    公开(公告)号:CN111797777B

    公开(公告)日:2023-10-17

    申请号:CN202010648991.X

    申请日:2020-07-07

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于时空语义特征的手语识别系统及方法,该系统包括:视频数据采集模块,视频数据预处理模块和手语识别模块;视频数据采集模块,用于采集手语视频数据;视频数据预处理模块对视频数据进行预处理;手语识别模块,进行手语识别,输出预测结果。本发明消除了手语图像数据与文本数据的语义鸿沟,实现了便捷地与聋哑人士进行沟通,使用前沿的神经网络算法作为翻译工具,保证了翻译的正确性。此外本发明还可以作为人机交互的一种媒介,通过用户连续手势进行分析,对智能设备进行指令控制。

    一种基于惯性感知的视频防抖系统及其工作方法

    公开(公告)号:CN110139031B

    公开(公告)日:2020-11-06

    申请号:CN201910367117.6

    申请日:2019-05-05

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于惯性感知的视频防抖系统及其工作方法。该方法首先使用惯性传感器来追踪相机的旋转,然后通过追踪视频帧中特征点的坐标变化,进一步地估计相机的平移。通过惯性‑视觉融合,该方法能够准确、鲁棒地估计相机的运动,并降低计算开销。然后基于Android智能设备,本发明设计并实现了一个实时的视频防抖系统。在系统实现过程中,本发明采用多线程优化技术来降低视频防抖的处理时间。最终在Android移动设备上,实现了实时的视频防抖系统,并且很好地满足用户对视频防抖的需求。

    基于时空语义特征的手语识别系统及方法

    公开(公告)号:CN111797777A

    公开(公告)日:2020-10-20

    申请号:CN202010648991.X

    申请日:2020-07-07

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于时空语义特征的手语识别系统及方法,该系统包括:视频数据采集模块,视频数据预处理模块和手语识别模块;视频数据采集模块,用于采集手语视频数据;视频数据预处理模块对视频数据进行预处理;手语识别模块,进行手语识别,输出预测结果。本发明消除了手语图像数据与文本数据的语义鸿沟,实现了便捷地与聋哑人士进行沟通,使用前沿的神经网络算法作为翻译工具,保证了翻译的正确性。此外本发明还可以作为人机交互的一种媒介,通过用户连续手势进行分析,对智能设备进行指令控制。

    一种基于惯性传感器的刚体运动追踪系统及其工作方法

    公开(公告)号:CN108627153A

    公开(公告)日:2018-10-09

    申请号:CN201810448583.2

    申请日:2018-05-11

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于惯性传感器的刚体运动追踪系统及其工作方法,该系统包括可附着在刚体上的惯性传感器节点和数据采集处理终端。惯性传感器节点包含惯性传感器、计算模块和无线通信模块。数据采集处理终端包含无线通信模块和计算机系统。用户将惯性传感器节点布置在刚体上,节点实时采集传感器数据并无线传输至数据采集处理终端。当运动结束,计算机系统执行运动追踪和运动分析算法,对数据做预处理,获知惯性传感器节点的加速度,并计算其速度和运动轨迹,再基于惯性传感器节点的姿态以及刚体上其他点和传感器节点的相对位置关系对这些点的运动轨迹进行还原,最终可以呈现刚体选定点的运动轨迹并对运动过程中发生的平移和旋转进行分析。

    一种分布式室内移动目标导航系统及其工作方法

    公开(公告)号:CN103971144A

    公开(公告)日:2014-08-06

    申请号:CN201410204597.1

    申请日:2014-05-14

    Applicant: 南京大学

    Abstract: 本发明公开了一种分布式室内移动目标导航系统及其工作方法。系统硬件包括部署在室内关键位置的射频识别标签,每个标签对应物理空间的一个位置,标签通过存储事件消息来记录移动个体的位置信息、发生时刻;通过存储请求消息来记录搜索的目标、发起时刻。每个移动个体携带一个微型射频识别读写器。当移动个体从标签旁经过,读写器将事件消息写入标签,当需要寻找一个移动目标时,读写器将请求消息写入标签。其他移动个体经过标签时,读出消息,并携带、存储、转发到其他标签。消息在由射频识别标签组成的网络中传输。本发明利用射频识别标签具有计算和存储能力的特点,实现基于机会传输的室内移动目标导航。

Patent Agency Ranking