-
公开(公告)号：CN120086126A
公开(公告)日：2025-06-03
申请号：CN202411888636.4
申请日：2024-12-13
Applicant: 南京大学
IPC: G06F11/3668 , G06N3/045 , G06V30/19 , G06V10/28 , G06V10/32 , G06V10/44 , G06F18/2411
Abstract: 一种基于大语言模型场景理解的脚本粒度GUI测试迁移方法，包括LLM‑Agent场景抽取模块、视觉增强模块、脚本预处理模块和自动化探索模块。视觉增强模块包括提取图片文字信息、识别组件坐标，以降低大模型对图片的理解难度。脚本预处理模块则充分分析脚本的抽象语法结构，并提取场景理解所需的基本信息，如操作目标、操作类别等。LLM‑Agent场景抽取模块则依据预处理后的脚本和截图抽取功能场景，形成对场景的整体理解后自动化探索待测应用生成测试脚本。而自动化探索模块则负责具体设备的操作，以及支持整个框架的自动化运行，包括错误纠偏、终止判断等部分。
-
公开(公告)号：CN114780373B
公开(公告)日：2025-05-06
申请号：CN202111471921.2
申请日：2021-11-30
Applicant: 南京大学
IPC: G06F11/3668 , G06V30/19 , G06V30/412
Abstract: 一种基于图像文本融合分析的移动应用众包测试报告排序的方法，其特征是通过自动化地提取众包测试报告的图像和文本特征，根据报告间的相似性度量进行众包测试报告排序为人工审查测试报告负担过大的问题提供新的解决方案。提取完成的图像和文本特征将重新组合缺陷类特征和上下文类特征分别计算相似度。缺陷相似度由问题控件图片相似度和缺陷描述相似度组成，用于表示报告中显示的直接与缺陷相关的信息。上下文相似度由复现步骤相似度和上下文控件相似度组成，它表示上下文信息，包括触发缺陷的操作跟踪和缺陷发生时的活动信息。最后将根据测试报告之间的相似度识别重复的报告，并根据报告揭示新的缺陷的能力进行排序。
-
公开(公告)号：CN120086125A
公开(公告)日：2025-06-03
申请号：CN202411888527.2
申请日：2024-12-13
Applicant: 南京大学
IPC: G06F11/3668
Abstract: 一种基于多智能体的场景粒度界面测试用例生成方法，该方法包括多个大语言模型代理以及相关组件，即上下文记忆、观察者、决策者、执行者、监督者、记录者以及待测应用。观察者识别界面控件，有效聚焦于控件的检测和属性识别，确保为后续的测试步骤提供精准的数据输入。基于观察者的输出，决策者根据当前页面状态生成下一步操作详细计划，可以独立制定操作策略，使得测试生成有业务场景逻辑支撑。执行者解析并执行所生成的计划操作，严格按照计划进行测试操作，并确保测试流程可追踪性和可重复性。进一步，监督者验证操作是否按计划执行并符合目标场景的要求，并根据检查结果做出相应的反馈，确保及时纠正错误操作，避免错误的持续累积，确保每个测试步骤的有效性。记录者负责保存执行指令和测试过程的上下文信息至上下文记忆，通过测试上下文信息可以追溯测试过程中的操作历史和结果，以便在后续迭代中更好地决策，更是有效地支持在测试生成完毕后将结果导出。记录结束后，测试生成进入下一次迭代，直至完成对测试场景的覆盖。
-
公开(公告)号：CN117194214A
公开(公告)日：2023-12-08
申请号：CN202210715644.3
申请日：2022-06-02
Applicant: 南京大学
IPC: G06F11/36 , G06V20/62 , G06V10/44 , G06V10/82 , G06N3/045 , G06N3/0442 , G06N3/0464 , G06N3/084 , G06N3/092
Abstract: 一种基于深度图像理解的通用型强化学习软件遍历测试技术，由交互功能模块，图像理解模块，强化学习探索模块组成。交互功能模块通过对软件应用运行时页面截屏捕获，解码执行强化学习探索模块提供动作，实现与应用的交互。深度图像理解模块通过对截屏图像进行分析编码，分别生成状态与可执行动作的特征向量。强化学习探索模块利用DQN架构对状态‑动作输入计算效用，进行比较，选择合适动作作为输出。通过结合图像理解和强化学习，摆脱平台接口的限制，实现对软件应用跨平台的高效测试。
-
公开(公告)号：CN112579431A
公开(公告)日：2021-03-30
申请号：CN201910951890.7
申请日：2019-09-30
Applicant: 南京大学
Abstract: 本发明提出了一种基于图像识别的跨平台脚本录制与回放方法，用于在移动应用自动化测试领域来降低自动化测试脚本编写门槛、避免同一应用在不同设备、不同平台下的脚本重复编写和维护开销，该发明的主要创新在于(1)对传统脚本录制方法的改良，提供投放了远程真机的Web端供用户实时操作和录制。(2)结合图像识别和布局匹配技术以实现已录制脚本在多台设备，不同平台下的运行回放，简化自动化脚本生成过程的同时大幅度提升测试脚本的跨平台能力，提高了自动化测试有效性和通用性。
-
Patent Agency Ranking
公开(公告)号：CN117215906A
公开(公告)日：2023-12-12
申请号：CN202210715711.1
申请日：2022-06-02
Applicant: 南京大学
IPC: G06F11/36 , G06T7/73 , G06T7/13 , G06T7/155 , G06T7/80 , G06T5/00 , G06V20/62 , G06V10/44 , B25J9/16
Abstract: 一种基于机械臂仿真与深度界面理解的移动测试脚本录制回放的方法，包括图像处理模块、深度界面理解模块、录制回放模块。图像处理模块包括对摄像头进行标定，产提取摄像头参数与畸变参数，以及通过图像增强算法对模糊的图片进行清晰度提升。深度界面理解模块由一个测试物体识别器与一个控件识别器组成，测试物体识别器通过轮廓检测检测测试物理的轮廓，并将测试物体从图像中截取；控件识别器包括图片识别与文字识别，图片识别器在图中根据边缘分割图像，将图像划分为各个部分，识别目标控件，文字识别器负责提取文本。在录制回放模块，我们通过记录图片点击存储测试行为的坐标与点击控件，并生成相应的机械臂行为指令，通过SSH传输协议将指令传送给机械臂后，机械臂利用逆运动学公式对行为指令进行转换，实现对测试脚本的回放。
-
公开(公告)号：CN114780373A
公开(公告)日：2022-07-22
申请号：CN202111471921.2
申请日：2021-11-30
Applicant: 南京大学
IPC: G06F11/36 , G06F40/289 , G06K9/62 , G06V30/412 , G06V10/74
Abstract: 一种基于图像文本融合分析的移动应用众包测试报告排序的方法，其特征是通过自动化地提取众包测试报告的图像和文本特征，根据报告间的相似性度量进行众包测试报告排序为人工审查测试报告负担过大的问题提供新的解决方案。提取完成的图像和文本特征将重新组合缺陷类特征和上下文类特征分别计算相似度。缺陷相似度由问题控件图片相似度和缺陷描述相似度组成，用于表示报告中显示的直接与缺陷相关的信息。上下文相似度由复现步骤相似度和上下文控件相似度组成，它表示上下文信息，包括触发缺陷的操作跟踪和缺陷发生时的活动信息。最后将根据测试报告之间的相似度识别重复的报告，并根据报告揭示新的缺陷的能力进行排序。
-
公开(公告)号：CN113743096A
公开(公告)日：2021-12-03
申请号：CN202010487202.9
申请日：2020-05-27
Applicant: 南京大学
Abstract: 一种基于自然语言处理的众包测试报告相似度检测的方法，采用自然语言处理技术检测众包工人提交的复杂测试报告的相似度，其中功能是对众测报告进行中文分词、去停用词等预处理，将预处理完之后的词组表示的句子利用Word2Vec技术表示为词向量，选取余弦相似度的度量方式计算词向量之间的距离，采用根据先前大量众测报告数据训练的语义模型进行训练，再将各词向量作为K‑Means聚类分析的输入，对各个词向量进行聚类分析，根据设定的相似度阈值将相似的报告归为同一类，可以较为准确的衡量众包测试报告之间的相似度。
-
公开(公告)号：CN118918056A
公开(公告)日：2024-11-08
申请号：CN202310512064.9
申请日：2023-05-08
Applicant: 南京大学
IPC: G06T7/00 , B25J9/08 , B25J9/16 , B25J18/00 , G06F11/36 , H04L67/133 , G06N3/092 , G06V20/52 , G06V30/148 , G06T7/13 , G06V10/774 , G06V10/82
Abstract: 一种基于多轴机械臂物理仿真与强化学习的移动应用自动化测试的方法，逻辑上包括照片处理模块、图像理解模块、强化学习模块和机械臂控制模块。照片处理模块包括控制摄像头拍摄照片的清晰度，并使用一系列传统计算机视觉技术来进行图像增强、轮廓检测和屏幕截取。图像理解模块包括控件识别和页面布局识别，通过控件识别综合采用多种技术来识别屏幕中的UI控件，通过页面布局以别来结构化地组织UI控件，提供整体页面信息。强化学习模块包括Q‑Network神经网络模型等深度强化学习构件，根据图像理解信息自训练并生成指令指导机械臂进行自动化测试探索。机械臂控制模块通过RPC协议接受来自服务端的操作调度，通过逆运动学算法解析指令，转换并完成仿真测试操作。
-
公开(公告)号：CN118916257A
公开(公告)日：2024-11-08
申请号：CN202310511954.8
申请日：2023-05-08
Applicant: 南京大学
IPC: G06F11/36 , G06F16/957 , G06F11/34 , G06F18/22
Abstract: 一种基于测试日志分析与人机交互对话的测试复现引导的方法，包括模型转换模块、监测模块、引导模块和对话机器人模块。模型转换模块从GUI截图中提取页面信息，根据结构与内容的整体相似度合并页面，按照测试的步骤顺序形成页面跳转模型。监测模块监测用户的复现操作并放入页面模型进行比对，若有偏离则调用引导模块，以一定的策略为用户纠偏。对话机器人模块包含与用户进行基本的互动沟通功能(如提醒用户偏离、询问用户是否需要帮助、询问是否成功复现)，并可以在用户寻求帮助时，配合引导模块提示用户直到复现成功。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.017 seconds)
