公开(公告)号：CN117873893A

公开(公告)日：2024-04-12

申请号：CN202410063891.9

申请日：2024-02-22

Applicant: 南京邮电大学

Inventor： 张卫丰 ,  王祥伟 ,  周国强 ,  张迎周 ,  王子元

IPC: G06F11/36 ,  G06V30/19 ,  G06V10/75 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出了一种基于深度学习的网页Canvas元素自动化UI测试技术，旨在解决传统Web测试方法在处理Canvas元素时的局限性。本发明结合YOLO与OCR技术，提出一种无脚本自动化测试方法。核心步骤包括：首先通过YOLO技术实现目标检测，结合OCR技术获取组件ID信息；其次基于目标检测结果构建组件结构树；然后通过组件结构树生成随机测试用例，并通过蜕变关系扩充测试用例。接着使用selenium执行页面操作，根据脚本文件中的ID信息定位组件。最后保存操作错误的用例，以及违反蜕变关系的测试结果信息。相较于传统测试方式，本技术具有更高的效率和精准性，能够有效应对Canvas元素的复杂性和动态性。