基于流媒体语义服务器的APP检测方法和系统

    公开(公告)号:CN113778856B

    公开(公告)日:2023-12-08

    申请号:CN202110850893.9

    申请日:2021-07-27

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于流媒体语义服务器的App检测方法,结合了硬软件方法,通过搭建流媒体服务器接收来自手机推流端的音视频信号,对音视频信号进行截取并保存的操作(截取图像画面和一定时长的音频),并调用人工智能算法对保存的音视频文件进行语义分析,将分析结果发送给机械臂和嵌入式系统组成边缘计算节点,由嵌入式系统中的决策算法指示机械臂在推流端设备上做出下一步动作,以此完成检测任务调度中心下发的检测任务。本发明还包括一种基于流媒体语义分析服务器的APP检测系统,包括存储器、处理器,以及存储在存储器上并可以在处理器上运行的计算机程序,处理器执行所述的计算机程序时实现上述方法的步骤。

    一种用于手机APP无障碍读屏软件的焦点陷入检测方法

    公开(公告)号:CN113791967B

    公开(公告)日:2023-11-28

    申请号:CN202110850858.7

    申请日:2021-07-27

    Applicant: 浙江大学

    Abstract: 一种用于手机APP无障碍读屏软件的焦点陷入检测方法,本发明结合了软硬件方法,利用系统的无障碍功能,实现了非侵入式、普适性强、错误率低的一种移动端焦点陷入检测方法。首先,打开手机无障碍读屏软件和被测软件,使用机械臂模拟人的点击行为,服务端通过焦点检测算法获取到当前焦点的位置。然后,把得到的焦点位置作为识别方法的数据输入,依次使用单组件焦点陷入检测模块和多组件循环焦点陷入检测模块进行检测,循环以上步骤直到完成单页面的遍历,得到检测结果。该方法覆盖率高,面对复杂的页面也能够达到100%的检测,当遇到焦点陷入情况就会退出程序,减少冗余遍历,时间消耗少,并且此方法具有高召回率,几乎可以覆盖所有的焦点陷入情况。

    基于计算机视觉的无障碍文字智能检测方法

    公开(公告)号:CN113780260B

    公开(公告)日:2023-09-19

    申请号:CN202110849867.4

    申请日:2021-07-27

    Applicant: 浙江大学

    Abstract: 一种基于计算机视觉的无障碍文字智能检测方法,首先,打开网页或App,对其进行截图;将所获图像进行基本处理并传入OCR模型中,自动预测出可能存在的文本框位置及其置信度;接着,进行相似对对比,融合相似文本框,并根据置信度过滤;然后进行形状规整和边缘检测,确定文本框的最小范围;最后,对最终确定的文本框进行无障碍规则检测,包括字号大小检测和颜色对比度检测,并给出不符合无障碍规范的文本框,供开发人员参考修正。该方法适用于任一网页和App,提供了一套统一的无障碍文字智能化检测方案,具有准确度高、应用性强、普适度广等特点,有利于辅助我国互联网应用适老化及无障碍事业的进一步推广。

    一种云边协同的移动无障碍体验与评测系统及方法

    公开(公告)号:CN116185871A

    公开(公告)日:2023-05-30

    申请号:CN202310275346.1

    申请日:2023-03-15

    Applicant: 浙江大学

    Abstract: 本发明公开了一种云边协同的移动无障碍体验与评测系统及方法。所述系统及方法首先自动遍历启用了无障碍辅助技术的移动应用程序,获取应用程序的完整无障碍结构。然后,结合结构信息和无障碍标准的相关要求,生成针对无障碍的体验与评测众包任务。最后,从软硬件层面实现远程移动设备控制和实时语音视频直播,供残疾或健全用户进行远程体验和评测。概括来说,整个系统及方法包括以下功能步骤:首先,需求方向系统发起体验和评测任务。任务启动后,边端自动遍历启用了无障碍辅助技术的指定移动应用,以获取无障碍结构信息。云端结合结构信息和用户要求的无障碍标准条目,生成相应的体验与评测众包任务及其对应功能链路。接着,残障或健全用户在浏览器客户端上申请任务。众包任务绑定后,用户在界面上远程操控机械臂访问测试机上的移动应用,并实时接收设备语音与视频推流反馈,实现指定链路的体验与无障碍合规性评测,并提交结果。最后,系统整合所有评测结果,输出任务报告供需求方查阅。

    APP适老模式下文字段落间距合规性检测方法

    公开(公告)号:CN115880708A

    公开(公告)日:2023-03-31

    申请号:CN202211691296.7

    申请日:2022-12-27

    Applicant: 浙江大学

    Abstract: 一种基于随机森林的移动应用适老模式下文字段落是否符合规定的检测方法,包括如下步骤:提出一种基于随机森林分类的文字段落检测方法,该方法确定一行文字是段落继续行数据,还是段落开始行数据;建立行间距、段间距合规检测模型,判断APP适老模式下文字大小及排版是否符合国标要求。本发明采用机器学习中较为稳定的随进森林算法,实现了非侵入式,即不用获取APP源码,普适性强,错误率低的一种移动应用适老模式下文字段落合规检测,可应用于复杂场景,且普适性强,可应用于移动应用的自动化测试等场景。

    一种基于滑动窗口和控件信息的移动应用控件采样方法

    公开(公告)号:CN114840417A

    公开(公告)日:2022-08-02

    申请号:CN202210369205.1

    申请日:2022-04-08

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于滑动窗口和控件信息的移动应用控件采样方法,分别通过手机操作系统本身的功能特性和外部的计算机视觉手段来获取移动应用控件的结构信息,使用滑动窗口的方法从控件信息的时序流中挖掘相似的模式,以此达到对控件进行采样的目的,后续对页面的控件进行点击遍历时,将跳过高相似度的控件组。对于安卓系统,本发明利用其系统级的无障碍服务和talkback功能获取每个控件的位置、大小、控件标签类型、文本等;对于iOS系统,本发明利用计算机视觉技术对iOS系统自带的VoiceOver功能产生的聚焦框和辅助文本进行识别,从而得到被聚焦控件的大小、位置、文本信息。

    基于计算机视觉的移动端应用控件识别方法

    公开(公告)号:CN113434072B

    公开(公告)日:2022-06-07

    申请号:CN202110597673.X

    申请日:2021-05-31

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于计算机视觉的移动端应用控件识别方法。所述方法结合了硬软件方法,利用系统的无障碍功能,实现了非侵入式、普适性强、错误率低的一种移动端应用控件识别方法。首先,打开屏幕阅读器和相应软件,机械臂操作后将截图上传到服务端;其次,对截图进行预处理后对其进行颜色提取和扩充,得到单通道图像。然后,对该单通道图像进行边缘检测和直线检测,过滤噪声后得到控件的中心坐标;最后,利用计算机视觉方法对控件进行功能判别。循环以上步骤,可构建该App的页面控件树。该方法可应用于复杂场景,对每个控件实现功能含义的理解,且普适性强,可应用于移动应用的自动化测试、页面结构分解,人机交互分析等场景。

    一种用于室内导航的UWB定位漂移校正方法

    公开(公告)号:CN114485639A

    公开(公告)日:2022-05-13

    申请号:CN202210059772.7

    申请日:2022-01-19

    Applicant: 浙江大学

    Abstract: 本发明公开了一种用于室内导航的UWB定位漂移校正方法,首先建立室内三维坐标系,将UWB定位基站安装于固定位置,产生一组足够数量的、带有影响力权值的粒子来近似地描述初始系统状态;然后根据运动模型进行系统状态递推;接着根据UWB获取的距离观测值与手机传感器获取的运动数据观测值对系统状态进行修正;最后将各个状态粒子的状态量进行合并,得出最终的位置估计值。本发明克服了现有UWB定位易出现定位漂移的缺点,有效提高了定位精度。

    一种用于APP无障碍智能检测的功能图标智能导航方法

    公开(公告)号:CN113821432A

    公开(公告)日:2021-12-21

    申请号:CN202110850886.9

    申请日:2021-07-27

    Applicant: 浙江大学

    Abstract: 一种用于APP无障碍智能检测的功能图标智能导航方法,首先是将获得的APP屏幕截图按照设定比例切分为上中下三部分,其次是对切分后的图像与标准库中的图标图像进行灰度与二值化的处理,然后分别对处理后的切分图像与标准库图标图像进行SIFT与ORB算子的特征值提取,之后使用Flann算法进行特征的匹配,得到切分图像中功能图标的一系列可能位置,最后K‑means聚类方法将一系列点聚类为一个点同时排除异常点。本发明综合运用了灰度化与二值化消噪方法、SIFT与ORB图像特征抽取方法,Flann特征匹配算法与K‑means点集消噪方法,在APP的自动检测过程中对页面中的跳转功能图标进行准确的定位,从而协助自动检测脚本遍历检查整个APP中的所有页面。

    一种网络节点的聚类方法及装置
    50.
    发明公开

    公开(公告)号:CN110874607A

    公开(公告)日:2020-03-10

    申请号:CN201811016527.8

    申请日:2018-08-31

    Applicant: 浙江大学

    Abstract: 本申请公开了一种网络节点的聚类方法及装置。其中所述聚类方法包括:获取第一网络节点的第一聚类中心和第一相似度权重参数;根据所述第一相似度权重参数、所述第一网络节点之间的网络节点属性信息和网络结构信息,获取所述第一网络节点之间的第一相似度;根据所述第一相似度,计算所述第一网络节点和所述第一聚类中心的距离;根据所述距离,将所述第一网络节点进行第一聚类。采用本申请提供的方法,解决了现有技术中,网络节点的聚类方法不支持针对不同种类的网络节点,利用网络节点属性信息和网络结构信息进行聚类的问题。

Patent Agency Ranking