Paincker

Android测试初探（七） 在Android Studio中进行黑盒测试（可使用Robotium）

发表于 分类于 阅读次数： Valine： 本文字数： 10k 阅读时长 ≈ 9 分钟

前面对单元测试进行了一些比较全的入门学习，都是通过Android Studio直接编译并自动运行测试的。

因为实际需要，希望在Android Studio中配置Robotium进行黑盒测试，之前知道原理，但一直没配置成功，网上也没找到相关的资料，所以自己进行了研究，终于成功了。在Android Studio中进行黑盒测试，需要用命令行编译、安装和运行TestRunner。

研究过程

这一段是讲述利用Android Studio实现黑盒测试的研究过程的，可以直接跳过。

为了明确测试的执行流程，创建了一个白盒测试项目（参考本系列文章的第三篇），将其中的代码改为黑盒形式，如下。主要的变化就是不再直接引用被测试代码中的类和方法，而采用反射的形式获取。

  1. public class ToastTest extends ActivityInstrumentationTestCase2 {

  2. private Activity mActivity;

  3. public ToastTest() throws ClassNotFoundException {

  4. super("com.jzj1993.test_instrumentation", Class.forName("com.jzj1993.test_instrumentation.MainActivity"));

  5. }

  6. public void testToast() throws Throwable {

  7. mActivity = getActivity();

  8. runTestOnUiThread(new Runnable() {

  9. @Override

  10. public void run() {

  11. Toast.makeText(mActivity, "test", Toast.LENGTH_LONG).show();

  12. }

  13. });

  14. Thread.sleep(5000);

  15. }

  16. }

仍然使用Android Studio进行编译和运行测试，执行成功。

此时的TestRunner是一个Target为com.jzj1993.test_instrumentation，并通过反射启动com.jzj1993.test_instrumentation.MainActivity后弹一个Toast。
通过adb指令也可以看到这一点

  1. adb shell pm list instrumentation
  2. instrumentation:com.example.android.apis/.app.LocalSampleInstrumentation (target=com.example.android.apis)
  3. instrumentation:com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner (target=com.jzj1993.test_instrumentation)

如果此时，重新安装一个同样包名、且含有同样的一个MainActivity的APP代替现有的APP，这个TestRunner是否仍然能调用新的APP呢？于是进行了实验。

  • 创建一个新的项目，包名也是com.jzj1993.test_instrumentation，同样含有一个MainActivity，编译并安装，覆盖之前的APP。

  • 调用adb指令，再次启动原先的那个TestRunner。

    1. adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner

  • 发现新的APP果然被之前的TestRunner成功调起并运行测试了。猜想正确。

Android Studio实现黑盒测试

获取包名、资源文件id

假设已经有一个待测试APK，将其安装到安卓设备上。通过adb指令、Android Studio的Device Monitor可以获取其页面的包名、控件的id等信息。

用adb查看当前的Activity

  1. adb shell dumpsys activity activities sed -En -e '/Running activities/,/Run #0/p'

  2. Running activities (most recent first):

  3. TaskRecord{5323d558 #32 A com.jzj1993.unittest U 0}

  4. Run #1: ActivityRecord{5311cd60 u0 com.jzj1993.unittest/.MainActivity}

  5. TaskRecord{5309f8c8 #2 A com.android.launcher U 0}

  6. Run #0: ActivityRecord{52fc9ac0 u0 com.android.launcher/com.android.launcher2.Launcher}

Device Monitor获取控件id

签名的统一

如果有待测试APK的签名源文件，则直接配置给测试工程即可。如果没有，可以通过工具对待测试APK进行重新签名，使其与TestRunner的签名一致即可。

测试项目的实现

用Android Studio创建一个Android项目，包名和被测试APK一致，签名与待测APK保持一致。
按照白盒测试一样的方式进行配置。可参考本系列文章的第三篇。
代码主目录main中不用写任何代码（写了也不影响）。
在androidTest目录下编写黑盒测试代码。

TestRunner的编译和执行

前面创建好的项目，如果直接使用Android Studio进行测试运行，实际上Android Studio会执行以下操作：

  • gradle assembleDebug，打包主目录main中的待测试APK
  • gradle assembleDebugAndroidTest，打包测试目录androidTest中的TestRunner
  • adb install -r app/build/outputs/apk/app-debug.apk，安装build目录生成的待测试APK
  • adb install -r app/build/outputs/apk/app-debug-androidTest-unaligned.apk，安装build目录生成的TestRunner
  • adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner，运行TestRunner

现在只需要手动执行其中的部分操作即可，即：打包TestRunner、安装TestRunner、运行TestRunner，最终命令行输出测试成功的信息，同时可以看到安卓设备中进行黑盒测试的APK已经按照测试代码执行。

  1. gradle clean

  2. gradle assembleDebugAndroidTest

  3. adb install -r app/build/outputs/apk/app-debug-androidTest-unaligned.apk

  4. adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner

  5. com.jzj1993.test_instrumentation.ApplicationTest:..

  6. com.jzj1993.test_instrumentation.ToastTest:.

  7. Test results for InstrumentationTestRunner=...

  8. Time: 5.311

  9. OK (3 tests)

在adb shell am instrument命令中，还可以指定-e参数，只运行TestRunner中指定的类。例如我可以在测试代码中写一个ToastTest和一个DialogTest，编译后如果不指定-e参数，则默认每个Test都会先后被执行，而如果指定-e参数，可以只运行ToastTest。

  1. adb shell am instrument -e class com.jzj1993.test_instrumentation.ToastTest -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner

由于已经通过黑盒的方式获取到了Activity实例，并成功弹Toast，因此在其基础上增加Robotium框架，实现更为全面的黑盒测试是完全没有问题的，可参考本系列文章第五篇。

运行测试时的一些报错

找不到TestRunner

  1. adb shell am instrument -w com.jzj1993.black.test/android.test.InstrumentationTestRunner

  2. INSTRUMENTATION_STATUS: id=ActivityManagerService

  3. INSTRUMENTATION_STATUS: Error=Unable to find instrumentation info for: ComponentInfo{com.jzj1993.black.test/android.test.InstrumentationTestRunner}

  4. INSTRUMENTATION_STATUS_CODE: -1

  5. android.util.AndroidException: INSTRUMENTATION_FAILED: com.jzj1993.black.test/android.test.InstrumentationTestRunner

  6. at com.android.commands.am.Am.runInstrument(Am.java:802)

  7. at com.android.commands.am.Am.onRun(Am.java:242)

  8. at com.android.internal.os.BaseCommand.run(BaseCommand.java:47)

  9. at com.android.commands.am.Am.main(Am.java:75)

  10. at com.android.internal.os.RuntimeInit.nativeFinishInit(Native Method)

  11. at com.android.internal.os.RuntimeInit.main(RuntimeInit.java:235)

  12. at dalvik.system.NativeStart.main(Native Method)

一般是因为TestRunner没有安装成功，或者在命令中写错包名等，可以用adb shell pm list instrumentation查看已经安装的TestRunner。

找不到被测试包 Target Package

  1. adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner
  2. INSTRUMENTATION_STATUS: id=ActivityManagerService
  3. INSTRUMENTATION_STATUS: Error=Unable to find instrumentation target package: com.jzj1993.test_instrumentation
  4. INSTRUMENTATION_STATUS_CODE: -1
  5. android.util.AndroidException: INSTRUMENTATION_FAILED: com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner
  6. at com.android.commands.am.Am.runInstrument(Am.java:802)
  7. at com.android.commands.am.Am.onRun(Am.java:242)
  8. at com.android.internal.os.BaseCommand.run(BaseCommand.java:47)
  9. at com.android.commands.am.Am.main(Am.java:75)
  10. at com.android.internal.os.RuntimeInit.nativeFinishInit(Native Method)
  11. at com.android.internal.os.RuntimeInit.main(RuntimeInit.java:235)
  12. at dalvik.system.NativeStart.main(Native Method)

一般是因为待测试包没有安装成功，或者TestRunner的Target和安装的包不一致。

找不到目标类 ClassNotFound

  1. adb shell am instrument -w com.jzj1993.black.test.test/android.test.InstrumentationTestRunner

  2. android.test.suitebuilder.TestSuiteBuilder$FailedToCreateTests:

  3. Error in testSuiteConstructionFailed:

  4. java.lang.RuntimeException: Exception during suite construction

  5. at android.test.suitebuilder.TestSuiteBuilder$FailedToCreateTests.testSuiteConstructionFailed(TestSuiteBuilder.java:238)

  6. at java.lang.reflect.Method.invokeNative(Native Method)

  7. at android.test.AndroidTestRunner.runTest(AndroidTestRunner.java:191)

  8. at android.test.AndroidTestRunner.runTest(AndroidTestRunner.java:176)

  9. at android.test.InstrumentationTestRunner.onStart(InstrumentationTestRunner.java:554)

  10. at android.app.Instrumentation$InstrumentationThread.run(Instrumentation.java:1701)

  11. Caused by: java.lang.reflect.InvocationTargetException

  12. at java.lang.reflect.Constructor.constructNative(Native Method)

  13. at java.lang.reflect.Constructor.newInstance(Constructor.java:417)

  14. at android.test.suitebuilder.TestMethod.instantiateTest(TestMethod.java:87)

  15. at android.test.suitebuilder.TestMethod.createTest(TestMethod.java:73)

  16. at android.test.suitebuilder.TestSuiteBuilder.addTest(TestSuiteBuilder.java:262)

  17. at android.test.suitebuilder.TestSuiteBuilder.build(TestSuiteBuilder.java:184)

  18. at android.test.InstrumentationTestRunner.onCreate(InstrumentationTestRunner.java:379)

  19. at android.app.ActivityThread.handleBindApplication(ActivityThread.java:4435)

  20. at android.app.ActivityThread.access$1300(ActivityThread.java:141)

  21. at android.app.ActivityThread$H.handleMessage(ActivityThread.java:1316)

  22. at android.os.Handler.dispatchMessage(Handler.java:99)

  23. at android.os.Looper.loop(Looper.java:137)

  24. at android.app.ActivityThread.main(ActivityThread.java:5103)

  25. at java.lang.reflect.Method.invokeNative(Native Method)

  26. at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:737)

  27. at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:553)

  28. at dalvik.system.NativeStart.main(Native Method)

  29. Caused by: java.lang.ClassNotFoundException: com.jzj1993.black.MainActivity

  30. at java.lang.Class.classForName(Native Method)

  31. at java.lang.Class.forName(Class.java:204)

  32. at java.lang.Class.forName(Class.java:169)

  33. at com.jzj1993.black.test.BlackBoxTest.<init>(BlackBoxTest.java:17)

  34. ... 18 more

  35. Caused by: java.lang.NoClassDefFoundError: com/jzj1993/black/MainActivity

  36. ... 22 more

  37. Caused by: java.lang.ClassNotFoundException: Didn't find class "com.jzj1993.black.MainActivity" on path: DexPathList[[zip file "/system/framework/android.test.runner.jar", zip file "/data/app/com.jzj1993.black.test.test-1.apk", zip file "/data/app/com.jzj1993.black.test-2.apk"],nativeLibraryDirectories=[/data/app-lib/com.jzj1993.black.test.test-1, /data/app-lib/com.jzj1993.black.test-2, /system/lib]]

  38. at dalvik.system.BaseDexClassLoader.findClass(BaseDexClassLoader.java:53)

  39. at java.lang.ClassLoader.loadClass(ClassLoader.java:501)

  40. at java.lang.ClassLoader.loadClass(ClassLoader.java:461)

  41. ... 22 more

  42. Test results for InstrumentationTestRunner=.E

  43. Time: 0.008

  44. FAILURES!!!

  45. Tests run: 1, Failures: 0, Errors: 1

这个错误是TestRunner抛出的异常。常见有几种可能：

  • 测试代码中的目标包名、类名，和实际安装在设备上的APK包名、类名不一致；
  • TestRunner的包名和被测试包名不匹配（一般情况下，例如被测试APK包名为com.example.target，则TestRunner包名应为com.example.target.test）；
  • 其他

签名不一致

  1. adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner

  2. INSTRUMENTATION_STATUS: id=ActivityManagerService

  3. INSTRUMENTATION_STATUS: Error=Permission Denial: starting instrumentation ComponentInfo{com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner} from pid=9230, uid=9230 not allowed because package com.jzj1993.test_instrumentation.test does not have a signature matching the target com.jzj1993.test_instrumentation

  4. INSTRUMENTATION_STATUS_CODE: -1

  5. java.lang.SecurityException: Permission Denial: starting instrumentation ComponentInfo{com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner} from pid=9230, uid=9230 not allowed because package com.jzj1993.test_instrumentation.test does not have a signature matching the target com.jzj1993.test_instrumentation

  6. at android.os.Parcel.readException(Parcel.java:1431)

  7. at android.os.Parcel.readException(Parcel.java:1385)

  8. at android.app.ActivityManagerProxy.startInstrumentation(ActivityManagerNative.java:2938)

  9. at com.android.commands.am.Am.runInstrument(Am.java:801)

  10. at com.android.commands.am.Am.onRun(Am.java:242)

  11. at com.android.internal.os.BaseCommand.run(BaseCommand.java:47)

  12. at com.android.commands.am.Am.main(Am.java:75)

  13. at com.android.internal.os.RuntimeInit.nativeFinishInit(Native Method)

  14. at com.android.internal.os.RuntimeInit.main(RuntimeInit.java:235)

  15. at dalvik.system.NativeStart.main(Native Method)

相关文章