公开(公告)号：CN117437413A

公开(公告)日：2024-01-23

申请号：CN202311381743.3

申请日：2023-10-23

Applicant: 科大讯飞股份有限公司

Inventor： 于继栋 ,  刘杰 ,  黄鹏 ,  李强 ,  黄智毅 ,  王志 ,  孙阳帆 ,  鲍雨凡 ,  汤熙 ,  韦邦灯

IPC: G06V10/26 ,  G06V10/74 ,  G06V10/96

Abstract: 本发明提供一种元素拾取方法、装置、一体机和存储介质，其中方法包括：获取需求文本；对所述需求文本进行流程拆解，得到所述需求文本所对应的流程文本，并获取与所述流程文本相关的界面图像；对所述界面图像进行元素检测和图像分割，得到所述界面图像中各元素图块的位置信息；将所述流程文本与所述各元素图块进行匹配，并基于匹配成功的元素图块的位置信息，在所述界面图像中进行元素拾取。本发明提供的元素拾取方法、装置、一体机和存储介质，通过图文匹配的方式进行元素拾取，能够提升元素拾取的泛化能力和拾取精度。