公开(公告)号：CN112446297A

公开(公告)日：2021-03-05

申请号：CN202011198818.0

申请日：2020-10-31

Applicant: 浙江工业大学

Inventor： 郑雅羽 ,  王豪 ,  张子涵

IPC: G06K9/00 ,  G06K9/32 ,  G06K9/34 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F3/01 ,  G06F3/16

Abstract: 本发明涉及一种电子助视器及其适用的智能手机文本辅助阅读方法，未识别到手势时抓拍一帧图像并保存，得到图像中文本的检测识别结果，为第一帧图像则将文本输出至语音播放模块播放，否则以该文本与上一帧的识别文本进行相似文本识别，基于是否相似选择去重播报或要求用户重选页面；基于是否收到关闭信息进行程序的关闭或反复。本发明使得低视力人群在手机使用场景下能通过电子助视器实现文本的流畅阅读，极大改善视障用户在使用智能手机时的文本阅读体验，一定程度解决手机应用在不支持无障碍模式下的文本阅读问题，亦可在用户自行选择下对文本进行识别播报，使视障用户可以从繁忙操作中解放出来，改善文本阅读体验，提高阅读效率。

公开(公告)号：CN116704548A

公开(公告)日：2023-09-05

申请号：CN202310557695.2

申请日：2023-05-17

Applicant: 浙江工业大学

Inventor： 郑雅羽 ,  姚沈 ,  张子涵

IPC: G06V40/10 ,  G06V10/46 ,  G06V10/94

Abstract: 本发明涉及一种适配手语重打处理的手语识别系统，包括主机，配合主机设有至少2个屏幕；配合其中1个屏幕设有采集组件和调节组件；配合屏幕、采集组件和调节组件设有控制单元，以词语级手语连续翻译模式和语句级手语连续翻译模式进行手语重打处理，词语级手语连续翻译模式对需要重新表达内容的句子整句替换，语句级手语连续翻译模式切分需要重新表达内容的句子，保留一部分、替换需要重新表达另一部分。本发明提升关键点信息的利用率，符合使用者，特别是听障人群的日常使用习惯，获得更好的手语识别设备使用体验；降低使用顿挫感，提升流畅度，改善听障者在手语识别设备上的手语重打体验，一定程度上解决听障人群在与健全人群交流时的不便。

公开(公告)号：CN115457654A

公开(公告)日：2022-12-09

申请号：CN202211054559.3

申请日：2022-08-31

Applicant: 浙江工业大学

Inventor： 郑雅羽 ,  张子涵 ,  张钦楠

IPC: G06V40/20 ,  G06V40/10 ,  G06V20/40 ,  G06V10/82 ,  G06V10/764 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于人体关键点的实时视频流手语识别方法，逐帧读取手语视频流，采用人体姿态估计网络提取人体关键点；基于累积的差异度判断手语动作开始、动作静止，以卷积神经网络判断结束动作；结束后，保存从手语动作开始到结束的时间段内所有帧的人体关键点数据，以时空图卷积网络对人体关键点序列进行特征提取，将得到的特征序列输入编码器‑解码器网络，输出完整的句子，实现连续手语识别。本发明可以进行实时视频流的连续手语识别，可以避免人物衣着、环境光照等因素对算法的影响，能够有效提升语句级的连续手语识别的精度。

公开(公告)号：CN112446297B

公开(公告)日：2024-03-26

申请号：CN202011198818.0

申请日：2020-10-31

Applicant: 浙江工业大学

Inventor： 郑雅羽 ,  王豪 ,  张子涵

IPC: G06V30/414 ,  G06V30/418 ,  G06V30/148 ,  G06V30/19 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08 ,  G06F3/01 ,  G06F3/16

Abstract: 本发明涉及一种电子助视器及其适用的智能手机文本辅助阅读方法，未识别到手势时抓拍一帧图像并保存，得到图像中文本的检测识别结果，为第一帧图像则将文本输出至语音播放模块播放，否则以该文本与上一帧的识别文本进行相似文本识别，基于是否相似选择去重播报或要求用户重选页面；基于是否收到关闭信息进行程序的关闭或反复。本发明使得低视力人群在手机使用场景下能通过电子助视器实现文本的流畅阅读，极大改善视障用户在使用智能手机时的文本阅读体验，一定程度解决手机应用在不支持无障碍模式下的文本阅读问题，亦可在用户自行选择下对文本进行识别播报，使视障用户可以从繁忙操作中解放出来，改善文本阅读体验，提高阅读效率。

公开(公告)号：CN115439866A

公开(公告)日：2022-12-06

申请号：CN202210915421.1

申请日：2022-07-31

Applicant: 浙江工业大学

Inventor： 郑雅羽 ,  张子涵 ,  姚沈

IPC: G06V30/412 ,  G06V30/148 ,  G06T3/00 ,  G06T5/30

Abstract: 本发明提出一种针对三线表的表格结构识别的方法、设备和存储介质，预处理图片，得到二值化图像，取反后进行水平腐蚀和水平膨胀，得到水平表格线图像；将二值化图像和水平表格线图像的像素逻辑或，得到无表格线图像，分别进行水平腐蚀和垂直腐蚀，并将结果合并，得到初始单元格掩膜；遍历水平表格线，再次分割单元格，得到最终单元格掩膜，计算并获取其中所有单元格的信息，得到代表三线表的表格结构；本发明提高对各种类型的三线表结构识别的准确率，有效减少单元格漏检、多检的问题，结果包含的信息完整、具体，有利于后续的表格结构还原等处理；采用非数据驱动的方法，无需大量数据，运算量小；可以更准确、通用地识别出三线表的表格结构。