公开(公告)号：CN118840782A

公开(公告)日：2024-10-25

申请号：CN202410867363.9

申请日：2024-07-01

Applicant: 哈尔滨理工大学

Inventor： 薛楠 ,  王鑫磊 ,  刘莉芬 ,  李鹏程

IPC: G06V40/20 ,  G06N3/0464 ,  G06V10/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/26 ,  G06V10/80

Abstract: 本发明公开了一种基于双层判断的跌倒行为检测方法，包括以下步骤：(1)人体检测：将图像输入到改进后的YOLOv8网络中，对人体目标进行提取；(2)将步骤(1)中检测后的结果，输入到Openpose网络进行人体关键点提取并对关键点坐标信息进行分析，使用跌倒特征判断方法对图像进行特征提取及分类；(3)将步骤(2)检测出疑似跌倒类别的图像输入到场景语义分割网络，将场景信息分割为可跌倒区域(床、沙发、椅子)和非跌倒区域(地面)；(4)跌倒判断：根据改进后的YOLOv8与Openpose网络结合的方法得到人体颈部以及两脚中点的关键点信息，分析跌倒特征并结合场景语义分割网络判断目标是否发生跌倒行为，该方法可以解决在多人场景中，因人体遮挡以及类跌倒行为导致的漏检、错检问题。

公开(公告)号：CN119919976A

公开(公告)日：2025-05-02

申请号：CN202411998126.2

申请日：2024-12-31

Applicant: 哈尔滨理工大学

Inventor： 薛楠 ,  李鹏程 ,  刘莉芬 ,  王鑫磊

IPC: G06V40/16 ,  G06V10/44 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/08

Abstract: 本发明属于视线估计技术领域，公开了一种基于E2StyleGAN网络的视线估计方法，包括以下步骤：通过E2StyleGAN网络的源域转换，将输入图像映射源域中得到图像的潜在代码，并加入视线失真损失训练编码器；潜在代码处理模块通过视线感知操作，找到与视线相关的特征，送入生成器重构出源域图像；视线估计模型利用源域图像学习出的特征和潜在代码处理得到的视线相关特征进行特征融合，计算出视线向量。本发明采用上述一种基于E2StyleGAN网络的视线估计方法，对输入图像进行处理，使模型更有泛化性能，跨域效果更好；通过GAN的反演得到图像的潜在信息，并利用视线感知操作选出与视线相关的信息来辅助进行视线估计。

公开(公告)号：CN118247820A

公开(公告)日：2024-06-25

申请号：CN202410240828.8

申请日：2024-03-02

Applicant: 哈尔滨理工大学

Inventor： 薛楠 ,  刘莉芬 ,  李鹏程 ,  王鑫磊

IPC: G06V40/16 ,  G06T7/70 ,  G06N3/0455 ,  G06V10/46 ,  G06N3/047 ,  G06N3/08

Abstract: 本发明公开了一种基于Swin Transformer的多任务学习视线估计方法，包括以下步骤：(1)获取人脸图像及头部姿态；(2)搭建Swin Transformer网络，进行人脸特征提取及头部姿态估计；(3)构建多任务学习网络架构：将(2)所提取的人脸特征和头部姿态估计一起输送到多任务学习网络中；(4)计算损失函数得到视线估计方向：将特征提取的凝视特征和头部姿态估计经过(3)对各损失函数组合成一个联合损失函数并计算得到视线方向。本发明结合头部姿态估计与视线估计并使用Swin Transformer和多任务学习的方法，提高视线估计的准确性，增强鲁棒性和泛化性。

公开(公告)号：CN221261439U

公开(公告)日：2024-07-02

申请号：CN202322912527.9

申请日：2023-10-28

Applicant: 哈尔滨理工大学

Inventor： 李鹏程 ,  薛楠 ,  刘莉芬 ,  王宁 ,  肖中旭

IPC: G02C11/00 ,  G02C5/02 ,  G02B27/01

Abstract: 本实用新型公开了一种眼动追踪眼镜，包括追踪眼镜主体，所述追踪眼镜主体上设置有连接组件包括：设置在追踪眼镜主体两侧并与追踪眼镜主体通过轴销活动连接的镜腿，且各所述镜腿的一端均倾斜向下设置，追踪眼镜主体的两端分别设置有摄像头，两个摄像头之间设置有安装在追踪眼镜主体上的数据处理器。本实用新型通过各个部分的配合使用，利用加速度计和陀螺仪采集获取全面的头部姿势和眼部运动数据，以提供更精确的眼动追踪结果，并且通过左镜框和右镜框上设置的外延套，提高左镜框和右镜框与使用者眼部之间的贴合度，避免外部光线对眼动追踪造成的干扰，具有良好的实用性。

公开(公告)号：CN219353892U

公开(公告)日：2023-07-18

申请号：CN202223194971.3

申请日：2022-11-30

Applicant: 哈尔滨理工大学

Inventor： 刘莉芬 ,  薛楠 ,  王鑫磊 ,  王宁 ,  李鹏程

IPC: A61B5/0205 ,  H02N1/04 ,  H04L67/12 ,  G08B21/02 ,  G08B21/18 ,  G08B7/06

Abstract: 本实用新型公开了一种基于云端服务的自供电健康检测系统，以解决传统的血氧检测设备成本太高，仅适用于医院等大型场所，以及户外无电无法及时检测生命体征的弊端。一种基于云端服务的自供电健康检测系统包括：数据处理与控制模块、纳米能量发生器、心率血氧传感器、红外温度传感器、按键设置模块、5G+WiFi无线收发模块、OLED显示模块、卫星定位模块和声光报警模块。本实用新型可实现快速读取人体心率值、血氧浓度、体温值并将其上传至云端，以及实时提供卫星定位服务的功能，具有数据采集方便、操作简单的优点。本实用新型可应用纳米能量发生器所产生的能量为系统进行供电，弥补了在户外无电的情况下，无法使用体征检测设备的不足。