Android测试初探（七）在Android Studio中进行黑盒测试（可使用Robotium）

前面对单元测试进行了一些比较全的入门学习，都是通过Android Studio直接编译并自动运行测试的。

因为实际需要，希望在Android Studio中配置Robotium进行黑盒测试，之前知道原理，但一直没配置成功，网上也没找到相关的资料，所以自己进行了研究，终于成功了。在Android Studio中进行黑盒测试，需要用命令行编译、安装和运行TestRunner。

研究过程

这一段是讲述利用Android Studio实现黑盒测试的研究过程的，可以直接跳过。

为了明确测试的执行流程，创建了一个白盒测试项目（参考本系列文章的第三篇），将其中的代码改为黑盒形式，如下。主要的变化就是不再直接引用被测试代码中的类和方法，而采用反射的形式获取。

public class ToastTest extends ActivityInstrumentationTestCase2 {
   private Activity mActivity;
   public ToastTest() throws ClassNotFoundException {
       super("com.jzj1993.test_instrumentation", Class.forName("com.jzj1993.test_instrumentation.MainActivity"));
   }
   public void testToast() throws Throwable {
       mActivity = getActivity();
       runTestOnUiThread(new Runnable() {
           @Override
           public void run() {
               Toast.makeText(mActivity, "test", Toast.LENGTH_LONG).show();
           }
       });
       Thread.sleep(5000);
   }
}

仍然使用Android Studio进行编译和运行测试，执行成功。

此时的TestRunner是一个Target为com.jzj1993.test_instrumentation，并通过反射启动com.jzj1993.test_instrumentation.MainActivity后弹一个Toast。
通过adb指令也可以看到这一点

adb shell pm list instrumentation                                                       
instrumentation:com.example.android.apis/.app.LocalSampleInstrumentation (target=com.example.android.apis)
instrumentation:com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner (target=com.jzj1993.test_instrumentation)

如果此时，重新安装一个同样包名、且含有同样的一个MainActivity的APP代替现有的APP，这个TestRunner是否仍然能调用新的APP呢？于是进行了实验。

创建一个新的项目，包名也是com.jzj1993.test_instrumentation，同样含有一个MainActivity，编译并安装，覆盖之前的APP。

调用adb指令，再次启动原先的那个TestRunner。

adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner

发现新的APP果然被之前的TestRunner成功调起并运行测试了。猜想正确。

Android Studio实现黑盒测试

获取包名、资源文件id

假设已经有一个待测试APK，将其安装到安卓设备上。通过adb指令、Android Studio的Device Monitor可以获取其页面的包名、控件的id等信息。

用adb查看当前的Activity

adb shell dumpsys activity activities | sed -En -e '/Running activities/,/Run #0/p'
  Running activities (most recent first):
    TaskRecord{5323d558 #32 A com.jzj1993.unittest U 0}
      Run #1: ActivityRecord{5311cd60 u0 com.jzj1993.unittest/.MainActivity}
    TaskRecord{5309f8c8 #2 A com.android.launcher U 0}
      Run #0: ActivityRecord{52fc9ac0 u0 com.android.launcher/com.android.launcher2.Launcher}

Device Monitor获取控件id

签名的统一

如果有待测试APK的签名源文件，则直接配置给测试工程即可。如果没有，可以通过工具对待测试APK进行重新签名，使其与TestRunner的签名一致即可。

测试项目的实现

用Android Studio创建一个Android项目，包名和被测试APK一致，签名与待测APK保持一致。
按照白盒测试一样的方式进行配置。可参考本系列文章的第三篇。
代码主目录main中不用写任何代码（写了也不影响）。
在androidTest目录下编写黑盒测试代码。

TestRunner的编译和执行

前面创建好的项目，如果直接使用Android Studio进行测试运行，实际上Android Studio会执行以下操作：

gradle assembleDebug，打包主目录main中的待测试APK
gradle assembleDebugAndroidTest，打包测试目录androidTest中的TestRunner
adb install -r app/build/outputs/apk/app-debug.apk，安装build目录生成的待测试APK
adb install -r app/build/outputs/apk/app-debug-androidTest-unaligned.apk，安装build目录生成的TestRunner
adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner，运行TestRunner

现在只需要手动执行其中的部分操作即可，即：打包TestRunner、安装TestRunner、运行TestRunner，最终命令行输出测试成功的信息，同时可以看到安卓设备中进行黑盒测试的APK已经按照测试代码执行。

gradle clean
gradle assembleDebugAndroidTest
adb install -r app/build/outputs/apk/app-debug-androidTest-unaligned.apk
adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner
com.jzj1993.test_instrumentation.ApplicationTest:..
com.jzj1993.test_instrumentation.ToastTest:.
Test results for InstrumentationTestRunner=...
Time: 5.311
OK (3 tests)

在adb shell am instrument命令中，还可以指定-e参数，只运行TestRunner中指定的类。例如我可以在测试代码中写一个ToastTest和一个DialogTest，编译后如果不指定-e参数，则默认每个Test都会先后被执行，而如果指定-e参数，可以只运行ToastTest。

adb shell am instrument -e class com.jzj1993.test_instrumentation.ToastTest -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner

由于已经通过黑盒的方式获取到了Activity实例，并成功弹Toast，因此在其基础上增加Robotium框架，实现更为全面的黑盒测试是完全没有问题的，可参考本系列文章第五篇。

运行测试时的一些报错

找不到TestRunner

adb shell am instrument -w com.jzj1993.black.test/android.test.InstrumentationTestRunner 
INSTRUMENTATION_STATUS: id=ActivityManagerService
INSTRUMENTATION_STATUS: Error=Unable to find instrumentation info for: ComponentInfo{com.jzj1993.black.test/android.test.InstrumentationTestRunner}
INSTRUMENTATION_STATUS_CODE: -1
android.util.AndroidException: INSTRUMENTATION_FAILED: com.jzj1993.black.test/android.test.InstrumentationTestRunner
at com.android.commands.am.Am.runInstrument(Am.java:802)
at com.android.commands.am.Am.onRun(Am.java:242)
at com.android.internal.os.BaseCommand.run(BaseCommand.java:47)
at com.android.commands.am.Am.main(Am.java:75)
at com.android.internal.os.RuntimeInit.nativeFinishInit(Native Method)
at com.android.internal.os.RuntimeInit.main(RuntimeInit.java:235)
at dalvik.system.NativeStart.main(Native Method)

一般是因为TestRunner没有安装成功，或者在命令中写错包名等，可以用adb shell pm list instrumentation查看已经安装的TestRunner。

找不到被测试包 Target Package

adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner
INSTRUMENTATION_STATUS: id=ActivityManagerService
INSTRUMENTATION_STATUS: Error=Unable to find instrumentation target package: com.jzj1993.test_instrumentation
INSTRUMENTATION_STATUS_CODE: -1
android.util.AndroidException: INSTRUMENTATION_FAILED: com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner
at com.android.commands.am.Am.runInstrument(Am.java:802)
at com.android.commands.am.Am.onRun(Am.java:242)
at com.android.internal.os.BaseCommand.run(BaseCommand.java:47)
at com.android.commands.am.Am.main(Am.java:75)
at com.android.internal.os.RuntimeInit.nativeFinishInit(Native Method)
at com.android.internal.os.RuntimeInit.main(RuntimeInit.java:235)
at dalvik.system.NativeStart.main(Native Method)

一般是因为待测试包没有安装成功，或者TestRunner的Target和安装的包不一致。

找不到目标类 ClassNotFound

adb shell am instrument -w com.jzj1993.black.test.test/android.test.InstrumentationTestRunner
android.test.suitebuilder.TestSuiteBuilder$FailedToCreateTests:
Error in testSuiteConstructionFailed:
java.lang.RuntimeException: Exception during suite construction
at android.test.suitebuilder.TestSuiteBuilder$FailedToCreateTests.testSuiteConstructionFailed(TestSuiteBuilder.java:238)
at java.lang.reflect.Method.invokeNative(Native Method)
at android.test.AndroidTestRunner.runTest(AndroidTestRunner.java:191)
at android.test.AndroidTestRunner.runTest(AndroidTestRunner.java:176)
at android.test.InstrumentationTestRunner.onStart(InstrumentationTestRunner.java:554)
at android.app.Instrumentation$InstrumentationThread.run(Instrumentation.java:1701)
Caused by: java.lang.reflect.InvocationTargetException
at java.lang.reflect.Constructor.constructNative(Native Method)
at java.lang.reflect.Constructor.newInstance(Constructor.java:417)
at android.test.suitebuilder.TestMethod.instantiateTest(TestMethod.java:87)
at android.test.suitebuilder.TestMethod.createTest(TestMethod.java:73)
at android.test.suitebuilder.TestSuiteBuilder.addTest(TestSuiteBuilder.java:262)
at android.test.suitebuilder.TestSuiteBuilder.build(TestSuiteBuilder.java:184)
at android.test.InstrumentationTestRunner.onCreate(InstrumentationTestRunner.java:379)
at android.app.ActivityThread.handleBindApplication(ActivityThread.java:4435)
at android.app.ActivityThread.access$1300(ActivityThread.java:141)
at android.app.ActivityThread$H.handleMessage(ActivityThread.java:1316)
at android.os.Handler.dispatchMessage(Handler.java:99)
at android.os.Looper.loop(Looper.java:137)
at android.app.ActivityThread.main(ActivityThread.java:5103)
at java.lang.reflect.Method.invokeNative(Native Method)
at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:737)
at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:553)
at dalvik.system.NativeStart.main(Native Method)
Caused by: java.lang.ClassNotFoundException: com.jzj1993.black.MainActivity
at java.lang.Class.classForName(Native Method)
at java.lang.Class.forName(Class.java:204)
at java.lang.Class.forName(Class.java:169)
at com.jzj1993.black.test.BlackBoxTest.<init>(BlackBoxTest.java:17)
... 18 more
Caused by: java.lang.NoClassDefFoundError: com/jzj1993/black/MainActivity
... 22 more
Caused by: java.lang.ClassNotFoundException: Didn't find class "com.jzj1993.black.MainActivity" on path: DexPathList[[zip file "/system/framework/android.test.runner.jar", zip file "/data/app/com.jzj1993.black.test.test-1.apk", zip file "/data/app/com.jzj1993.black.test-2.apk"],nativeLibraryDirectories=[/data/app-lib/com.jzj1993.black.test.test-1, /data/app-lib/com.jzj1993.black.test-2, /system/lib]]
at dalvik.system.BaseDexClassLoader.findClass(BaseDexClassLoader.java:53)
at java.lang.ClassLoader.loadClass(ClassLoader.java:501)
at java.lang.ClassLoader.loadClass(ClassLoader.java:461)
... 22 more
Test results for InstrumentationTestRunner=.E
Time: 0.008
FAILURES!!!
Tests run: 1,  Failures: 0,  Errors: 1

这个错误是TestRunner抛出的异常。常见有几种可能：

测试代码中的目标包名、类名，和实际安装在设备上的APK包名、类名不一致；
TestRunner的包名和被测试包名不匹配（一般情况下，例如被测试APK包名为com.example.target，则TestRunner包名应为com.example.target.test）；
其他

签名不一致

adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner  
INSTRUMENTATION_STATUS: id=ActivityManagerService
INSTRUMENTATION_STATUS: Error=Permission Denial: starting instrumentation ComponentInfo{com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner} from pid=9230, uid=9230 not allowed because package com.jzj1993.test_instrumentation.test does not have a signature matching the target com.jzj1993.test_instrumentation
INSTRUMENTATION_STATUS_CODE: -1
java.lang.SecurityException: Permission Denial: starting instrumentation ComponentInfo{com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner} from pid=9230, uid=9230 not allowed because package com.jzj1993.test_instrumentation.test does not have a signature matching the target com.jzj1993.test_instrumentation
at android.os.Parcel.readException(Parcel.java:1431)
at android.os.Parcel.readException(Parcel.java:1385)
at android.app.ActivityManagerProxy.startInstrumentation(ActivityManagerNative.java:2938)
at com.android.commands.am.Am.runInstrument(Am.java:801)
at com.android.commands.am.Am.onRun(Am.java:242)
at com.android.internal.os.BaseCommand.run(BaseCommand.java:47)
at com.android.commands.am.Am.main(Am.java:75)
at com.android.internal.os.RuntimeInit.nativeFinishInit(Native Method)
at com.android.internal.os.RuntimeInit.main(RuntimeInit.java:235)
at dalvik.system.NativeStart.main(Native Method)

来自为知笔记(Wiz)

最后，欢迎扫码关注微信公众号。程序员同行学习交流，聊天交友，国内外名企求职内推（微软 / 小冰 / Amazon / Shopee / Coupang / ATM / 头条 / 拼多多等），可加我微信 jzj2015 进技术群（备注进技术群，并简单自我介绍）。

本文由jzj1993原创，转载请注明来源：https://www.paincker.com/android-test-7
（标注了原文链接的文章除外）

评论11条

您你 2年前 (2019-01-13) 回复
无源码的情况,你有运行过么
您你 2年前 (2019-01-13) 回复
你运行成功过?
ttyy 3年前 (2018-07-30) 回复
您好我在进行测试的时候显示INSTALL_FAILED_CONFLICTING_PROVIDER 意思是test包和主包邮签名冲突？可是这个冲突是怎么回事？
1. jzj1993 2年前 (2018-08-30) 回复
  没遇到过这个问题，网上再找找吧，好像是provider标签的authority属性冲突了~
bnehsell 3年前 (2017-09-06) 回复
你好，请问能共享一下源码吗？万分感谢
1. jzj1993 3年前 (2017-09-08) 回复
  我之前的源码找不到了……源码就是文章里写的那些，总共也没几行，自己建个工程贴进去就好了
下雨天 4年前 (2017-07-07) 回复
再问一下，我只拿到一个待测试的apk和签名文件，我想在androidTest目录下写黑盒测试的代码，但是代码写好之后就不知道怎么使用签名文件来对androidTest目录下的代码进行打包，求指导
下雨天 4年前 (2017-07-07) 回复
您好，我的签名也是不一致，我拿到签名文件了，我想问用gradle assembleDebugAndroidTest命令可以把签名文件打到apk里吗？是需要在app/build.gradle中设置签名文件吗？
1. jzj1993 3年前 (2017-09-08) 回复
  签名可以在build.gradle中配置。当然也可以用android提供的命令行工具，对已经生成的apk进行重签名，具体方法可以网上找找。
朱雪飞 4年前 (2017-04-06) 回复
您好，签名不一致问题怎么解决的啊
1. jzj1993 4年前 (2017-04-15) 回复
  给测试代码指定和被测试应用相同的签名文件就可以了，不过如果拿不到被测试应用的签名文件，那就没办法了……

您的浏览器不支持CSS3，建议使用Firfox、Chrome等浏览器，以取得最佳显示效果