百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

App自动化之dom结构和元素定位方式(包含滑动列表定位)

myzbx 2025-02-20 17:01 47 浏览

1. DOM结构

先来看几个名词和解释:

  • dom: Document Object Model 文档对象模型
  • dom应用: 最早应用于html和js的交互。界面的结构化描述, 常见的格式为html、xml。核心元素为节点和属性
  • xpath: xml路径语言,用于xml 中的节点定位,XPath 可在 xml 文档中对元素和属性进行遍历
    如下我们再来看一个App的dom:

控件的基础知识和selenium一样,appium为移动端抽象出了一个控件模型,称为dom结构;会把所有的控件都理解为xml文件,在xml文件里,每个控件都有自己的类型和属性;

既然有了类型和属性,自然就可以根据这些来定位元素,又因为整个模型是xml,也就同样可以通过xpath的方法来定位各个控件的信息了,是不是似曾相识?在Web端自动化时候也介绍过相关元素定位方式,具体可在文章末尾往期回顾第一条点击查看。

2. 控件定位


UI自动化测试的步骤三要素是:

  • 定位
  • 交互
  • 断言

那么第一步便是要对元素进行定位,下面就来看看移动端如何进行元素定位

2.1 控件属性

通过uiautomatorviewer对雪球App首页的解析得到如下图结果:

通过解析结果我们可以看到元素的属性和类型有:

  • node
  • attribute
    • clickable
    • content-desc
    • resource-id
    • text
    • bounds

IOS和Android在控件属性和上稍微有些不同(这里先说个概括,后续单独出IOS的文章加以说明,欢迎关注):


  • dom属性和节点结构类似
  • 名字和属性的命名不同

2.2 定位方式

Appium 支持 WebDriver 定位策略的子集:

2.21 通过 “class” 查找 (例如, UI 组件的类型)-一般不推荐

这种就是通过判断控件类型来查找,例如TextView、ImageView等

在实际工作中,这种定位方式几乎不用,因为一个页面中可能会有很多的TextView、ImageView等;

appiumdriver.findElementByClassName("android.widget.TextView");

2.22 通过 “xpath” 查找 (例如, 一个元素的路径以抽象的方式去表达,具有一定的约束)-重要

如上所述,xpath是不仅可以在移动端进行元素定位,并且是我们最常用的定位方式之一,在web端自动化我们会首推CSS定位,而在移动端定位我们会首推xpath定位,良好的xpath定位语法会给我们定位带来准确度和便利度,对速度的影响也完全会在我们的接受范围以内

如下dom结构中,一个界面上有多同类型控件,这些控件有相同的id或属性,不具备唯一性,所以无法直接进行指定控件的定位操作,这个时候就该xpath大显身手了

上图可以看到,所有勾选控件的结构是一样的,相对位置是固定的,而勾选控件相对它们的"哥哥"节点的TextView是不同的,这样就可以先定位至"哥哥"节点,在根据相对位置,定位到指定的控件节点


在xpath中提供了多种轴方法,其中following-sibling可实现此功能

如我们要定位"画好一个封闭的圆"后面跟着的第二个RelativeLayout,具体写法如下:

//下面两种写法均可实现
By.xpath("((//*[@text='画好一个封闭的圆'])[2]/following-sibling::android.widget.RelativeLayout)[2]")
By.xpath("((//*[@text='画好一个封闭的圆'])[2]/following-sibling::*[@class='android.widget.RelativeLayout'])[2]")

很多控件都是有text属性的,但是appium是不支持直接对text进行定位的,而在实际工作中,我们经常会拿text进行定位,这就要归功于xpath了,通过对xpath语法的封装,我们就可以自定义一个根据text定位元素的方法来:

public By ByText(String text){
        return By.xpath("//*[@text='"+ text + "']");
    }

appiumdriver.findElement(ByText("关注"));

另外,需要定位Toast弹框时,有且仅有通过xpath的方式来实现:

有时候我们进行某个操作后会弹出消息提示,例如点击某个按钮或下拉刷新后可能会出现类似"刷新成功"的提示语,然后几秒后消失;

弹出的消息很可能是Android系统自带的Toast,Toast在弹出的时候会在当前界面出现节点android.widget.Toast,随着消息的消失而消失;这个时候我们如果需要定位这个弹出消息,对其进行测试的话,就可以使用定位xpath方式了。

System.out.println( appiumdriver.findElementByXPath("//*[@class='android.widget.Toast']").getText());

结果:

2.23 通过id定位(每个元素原则上都有自己的唯一id值)-重要

学过web自动化的同学知道,在HTML中元素是有自己的id的,在移动端,元素依然有自己的id值,只不过名字叫做resource-id,如下:

注: 我们看到id的值很长,其实实际使用只需要取斜杠/后面的部分就可以了,如下:

By.id("statusTitle")

2.24 通过accessibilityId定位(实则就是android的content-desc)-偶尔用到

在移动端自动化中有个特殊的定位方式就是根据accessibilityId定位,在dom中表现就是属性content-desc的值,如果Android中的content-desc中写入了值,便可以通过其进行定位:

这里比较尴尬。。。由于研发经常偷懒不写,找了半天也没能找到例子,大家知道用法就好~另外要注意的是如果要写成"By.xxx"的形式,需要使用MobileBy

MobileBy.AccessibilityId("AccessibilityId");
appiumdriver.findElementByAccessibilityId("AccessibilityId"); 

2.25 通过android uiautomator定位(相当于使用 UiAutomator Api 去递归地搜索元素(Android 专属))-高级用法

有时候我们需要对界面进行一定的操作方式后才能找到我们想要的元素,比如滑动列表进行查找等,这个时候就可以借助于android uiautomator了这里利用模拟器中的API Demo做演示,进入APIDemo中Views,然后滑屏寻找“Popup Menu”进行点击操作

可以利用Android的UIAutomator进行滑屏操作,这时候需要使用AndroidDriver,另外定位元素可以使用UiScrollable:

在官网的uiautomator UiSelector中有用ruby写的实例,不过定位方式是一致的,可以直接借鉴至java代码中


这里大概定位的方法就是,先用new UiSelector().scrollable(true).instance(0)判断是否可以滑动,找到ListView,然后用scrollIntoView(new UiSelector().text("WebView").instance(0)滑动找到对应定位属性的元素。

driver.findElementByXPath("//*[@text='Views']").click();
((AndroidDriver)driver).
                findElementByAndroidUIAutomator
                 ("new UiScrollable(new UiSelector().scrollable(true).instance(0)).scrollIntoView(new UiSelector().text(\"Popup Menu\").instance(0))")
                 .click();

在实际运行中,AndroidUIAutomator偶尔有定位失败的情况,可能在定位元素是位置会产生一点偏差,这里稍加改造避免这种偶发性失败;


改造方法:滑屏寻找元素时会先滑屏至待查元素的附近,这时元素已处于页面可见范围内,对元素操作可以重新定位操作,例如点击操作可以利用Xpath的方法重新定位后再click().

  By departmentName = MobileBy.AndroidUIAutomator(
                "new UiScrollable(new UiSelector().scrollable(true).instance(0))." +
                        "scrollIntoView(new UiSelector().text(\""+ departName +"\").instance(0))");
        find(departmentName);
//        click(departmentName); 原来直接操作滑动查找的元素结果
        click(ByText(departName));//现在利用xpath重新定位确认后再操作,成功率大大提升

运行效果演示:


3. 定位逻辑的区别

在之前的一篇文章中我们介绍过appium底层的使用了各种引擎,可在文章末尾往期回顾第一条点击查看。

先简单看如下图:

我们现在用的最新的版本优先支持的就是uiautomator2,如果你使用的是相对较前的版本,可能支持的是uiautomator,那么这两个引擎对于以上介绍的定位有什么影响呢?来看源码:

我们现在用的最新的版本优先支持的就是uiautomator2,如果你使用的是相对较前的版本,可能支持的是uiautomator,那么这两个引擎对于以上介绍的定位有什么影响呢?来看源码:


  • Uiautomator源码

以id定位为例,在Uiautomator的源码可见其对id定位要更为宽泛,当我们使用By.id的时候,会同时去匹配resourceId、accessibility id、id


  • Uiautomator2源码

在Uiautomator2中,将id的定位进行了细分,对应不同的id进行判断后再操作,因此在使用Uiautomator2的时候我们的写法要更为严谨

相关推荐

别让水 “跑” 出卫生间!下沉设计打造滴水不漏的家

你是否遭遇过卫生间的水“偷偷溜”进客厅,导致木地板鼓起、墙角发霉的糟心事?又是否为卫生间门口反复渗漏,不得不一次次返工维修而头疼不已?在家庭装修中,卫生间防水堪称“兵家必争之地”,而卫生间门口下...

歼-10CE vs 阵风:谁才是空中霸主?全面性能对比解析

歼10CE与法国阵风战斗机性能深度对比分析一、总体定位与设计哲学歼10CE:单发中型多用途战斗机,侧重于空优(制空权争夺)和对地对海打击,具有较高的性价比和较强的多任务能力。法国阵风战斗机:双发中型多...

知名移植工作室肯定Switch2的图形性能,却被CPU拖了后腿

虽然Switch2发售多日,但没入手的玩家对其性能还是有顾虑。近日,知名移植工作室Virtuos的技术总监在接受采访时讨论了Switch2的性能,并给出了他们工作室的评价。简单来说,Switch2在D...

虹科实测 | CAN XL vs CAN FD传输性能深度对比:速率翻倍,抖动锐减!

导读在汽车电子与工业通信领域,CAN协议持续进化,推动着数据传输效率的提升。本次实测基于虹科PCAN-USBXL与虹科PCAN-USBProFD硬件,在同等严苛条件下对比CANXL与CANF...

1J117合金材料优异的耐腐蚀性、机械性能

1J117合金材料概述定义:1J117是一种不锈软磁精密合金,属于铁铬基合金,其圆棒产品具有特定的形状和尺寸,可满足各种工业应用中的特定需求。标准:技术条件标准为GB/T14986,品种规格标准...

据高管所称,Switch2能轻松移植XSS平台60帧游戏

任天堂,作为主机游戏界的御三家之一,一直注重游戏性而不注重更新升级硬件设备是其最大的特点。各位任豚们,忍受着任天堂早已落后硬件设备,真想感叹一句,天下苦任久矣!但Switch2的出现或许正在渐渐的改变...

FJK-110LED-HXJSN磁传感器有哪应用

作为一名从事电子技术相关工作的自媒体人,我经常会遇到各种传感器的应用问题。其中,FJK-110LED-HXJSN磁传感器是一款在工业自动化、智能设备等领域比较常见的磁场检测元件。今天我想和大家聊一聊这...

浅谈欧标方管200x200x5-12mm质S275JRH的优势与劣势

欧标方管200x200x5-12mm材质S275JRH是一种常见的结构用钢材,广泛应用于建筑、机械制造、桥梁、钢结构等领域。本文将对这种方管的优势与劣势进行浅谈,以帮助读者更好地了解其特性和适用场景。...

宽带拨号错误 651 全解析:故障定位与修复方案

在使用PPPoE拨号连接互联网时,错误651提示「调制解调器或其他连接设备报告错误」,通常表明从用户终端到运营商机房的链路中存在异常。以下从硬件、系统、网络三层维度展开排查:一、故障成因分类图...

模型微调:从理论到实践的深度解析

在人工智能领域,模型微调已成为提升模型性能、使其适应特定任务的关键技术。本文将全面系统地介绍模型微调的各个方面,帮助读者深入理解这一重要技术。一、什么是模型微调模型微调是指在已经训练好的预训练模型基础...

汉语拼音 z、c、s图文讲解(拼音字母表zcs教学视频)

以下是汉语拼音z、c、s的图文讲解,结合发音要领、书写规范及教学技巧:一、发音方法与口诀1.z的发音发音要领:舌尖轻抵上齿背,形成阻碍后稍放松,气流从窄缝中挤出,声带不振动(轻短音)。口诀:“写字写...

吴姗儒惹怒刘宇宁粉丝!吴宗宪护航「是综艺梗」叮咛女儿对话曝光

记者孟育民/台北报道Sandy吴姗儒在《小姐不熙娣》因为节目效果,将男星刘宇宁的头像踩在地上,引起粉丝怒火,节目发声明道歉后仍未平息,她也亲自发文郑重道歉:「我对刘宇宁本人完全没有任何恶意,却在综艺表...

苹果错误地发布了macOS Tahoe公开测试版 现已将其撤下

一些Beta测试人员下载了他们以为是macOSSequoia15.6RC的版本,但却错误地下载了macOSTahoe26公开测试版,后来苹果修复了该问题。苹果预计将于7月25...

make的多种用法!(make 的用法总结)

一、make的用法美make[meik]①V.制造;制定,拟定;使变得,使处于;造成,引起;整理(床铺);做,作出;强迫;挑选,任命…②n.(机器、设备等的)品牌,型号;结构,构造;通电,接电⑤[...

北顿尖刀哗变?俄第20近卫集团军损失惨重,拒绝执行指挥官命令?

【军武次位面】作者:太白近日,外国社交媒体“电报”上传出了一些消息,称俄罗斯在北顿涅兹克战场上的“尖刀”部队之一,俄第20近卫集团军因为损失惨重,已经出现了部分部队拒绝执行指挥官命令,甚至哗变的情况。...