公开(公告)号：CN120066282A

公开(公告)日：2025-05-30

申请号：CN202510550543.9

申请日：2025-04-29

Applicant: 中国电建集团西北勘测设计研究院有限公司

Inventor： 韩飞宇 ,  王瑞欢 ,  刘晓东 ,  王晨 ,  郑强 ,  马帅 ,  崔述刚 ,  王翰宇 ,  赵智华 ,  徐艳

IPC: G06F3/01 ,  G06F3/04817 ,  G06F3/04845 ,  G06V10/26 ,  G06N5/01 ,  G06N5/022

Abstract: 本公开提供了一种基于屏幕识别的数字人交互控制方法、系统及设备，涉及数据处理技术领域。该方法包括：基于应用系统的信息解析，构建应用系统知识图谱；获取用户输入数据，并基于应用系统知识图谱对用户输入数据进行意图分类；响应于意图分类的结果为系统操作类意图，捕获当前屏幕的界面图像，并对界面图像进行语义分割，生成包含界面组件功能描述与坐标位置的键值字典，基于键值字典构建应用系统功能搜索树；基于应用系统知识图谱以及应用系统功能搜索树，生成从当前页面至目标功能页面的操作指令序列，并根据操作指令序列进行拟人化操作。本公开中的技术方案可以自主理解界面内容并执行拟人化交互操作，具有更高的泛化性和灵活性。