前面对单元测试进行了一些比较全的入门学习,都是通过Android Studio直接编译并自动运行测试的。
因为实际需要,希望在Android Studio中配置Robotium进行黑盒测试,之前知道原理,但一直没配置成功,网上也没找到相关的资料,所以自己进行了研究,终于成功了。在Android Studio中进行黑盒测试,需要用命令行编译、安装和运行TestRunner。
研究过程
这一段是讲述利用Android Studio实现黑盒测试的研究过程的,可以直接跳过。
为了明确测试的执行流程,创建了一个白盒测试项目(参考本系列文章的第三篇),将其中的代码改为黑盒形式,如下。主要的变化就是不再直接引用被测试代码中的类和方法,而采用反射的形式获取。
public class ToastTest extends ActivityInstrumentationTestCase2 {
private Activity mActivity;
public ToastTest() throws ClassNotFoundException {
super("com.jzj1993.test_instrumentation", Class.forName("com.jzj1993.test_instrumentation.MainActivity"));
}
public void testToast() throws Throwable {
mActivity = getActivity();
runTestOnUiThread(new Runnable() {
@Override
public void run() {
Toast.makeText(mActivity, "test", Toast.LENGTH_LONG).show();
}
});
Thread.sleep(5000);
}
}
仍然使用Android Studio进行编译和运行测试,执行成功。
此时的TestRunner是一个Target为com.jzj1993.test_instrumentation,并通过反射启动com.jzj1993.test_instrumentation.MainActivity后弹一个Toast。
通过adb指令也可以看到这一点
adb shell pm list instrumentation
instrumentation:com.example.android.apis/.app.LocalSampleInstrumentation (target=com.example.android.apis)
instrumentation:com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner (target=com.jzj1993.test_instrumentation)
如果此时,重新安装一个同样包名、且含有同样的一个MainActivity的APP代替现有的APP,这个TestRunner是否仍然能调用新的APP呢?于是进行了实验。
- 创建一个新的项目,包名也是com.jzj1993.test_instrumentation,同样含有一个MainActivity,编译并安装,覆盖之前的APP。
- 调用adb指令,再次启动原先的那个TestRunner。
adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner
- 发现新的APP果然被之前的TestRunner成功调起并运行测试了。猜想正确。
Android Studio实现黑盒测试
获取包名、资源文件id
假设已经有一个待测试APK,将其安装到安卓设备上。通过adb指令、Android Studio的Device Monitor可以获取其页面的包名、控件的id等信息。
用adb查看当前的Activity
adb shell dumpsys activity activities | sed -En -e '/Running activities/,/Run #0/p'
Running activities (most recent first):
TaskRecord{5323d558 #32 A com.jzj1993.unittest U 0}
Run #1: ActivityRecord{5311cd60 u0 com.jzj1993.unittest/.MainActivity}
TaskRecord{5309f8c8 #2 A com.android.launcher U 0}
Run #0: ActivityRecord{52fc9ac0 u0 com.android.launcher/com.android.launcher2.Launcher}
Device Monitor获取控件id
签名的统一
如果有待测试APK的签名源文件,则直接配置给测试工程即可。如果没有,可以通过工具对待测试APK进行重新签名,使其与TestRunner的签名一致即可。
测试项目的实现
用Android Studio创建一个Android项目,包名和被测试APK一致,签名与待测APK保持一致。
按照白盒测试一样的方式进行配置。可参考本系列文章的第三篇。
代码主目录main中不用写任何代码(写了也不影响)。
在androidTest目录下编写黑盒测试代码。
TestRunner的编译和执行
前面创建好的项目,如果直接使用Android Studio进行测试运行,实际上Android Studio会执行以下操作:
- gradle assembleDebug,打包主目录main中的待测试APK
- gradle assembleDebugAndroidTest,打包测试目录androidTest中的TestRunner
- adb install -r app/build/outputs/apk/app-debug.apk,安装build目录生成的待测试APK
- adb install -r app/build/outputs/apk/app-debug-androidTest-unaligned.apk,安装build目录生成的TestRunner
- adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner,运行TestRunner
现在只需要手动执行其中的部分操作即可,即:打包TestRunner、安装TestRunner、运行TestRunner,最终命令行输出测试成功的信息,同时可以看到安卓设备中进行黑盒测试的APK已经按照测试代码执行。
gradle clean
gradle assembleDebugAndroidTest
adb install -r app/build/outputs/apk/app-debug-androidTest-unaligned.apk
adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner
com.jzj1993.test_instrumentation.ApplicationTest:..
com.jzj1993.test_instrumentation.ToastTest:.
Test results for InstrumentationTestRunner=...
Time: 5.311
OK (3 tests)
在adb shell am instrument命令中,还可以指定-e参数,只运行TestRunner中指定的类。例如我可以在测试代码中写一个ToastTest和一个DialogTest,编译后如果不指定-e参数,则默认每个Test都会先后被执行,而如果指定-e参数,可以只运行ToastTest。
adb shell am instrument -e class com.jzj1993.test_instrumentation.ToastTest -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner
由于已经通过黑盒的方式获取到了Activity实例,并成功弹Toast,因此在其基础上增加Robotium框架,实现更为全面的黑盒测试是完全没有问题的,可参考本系列文章第五篇。
运行测试时的一些报错
找不到TestRunner
adb shell am instrument -w com.jzj1993.black.test/android.test.InstrumentationTestRunner
INSTRUMENTATION_STATUS: id=ActivityManagerService
INSTRUMENTATION_STATUS: Error=Unable to find instrumentation info for: ComponentInfo{com.jzj1993.black.test/android.test.InstrumentationTestRunner}
INSTRUMENTATION_STATUS_CODE: -1
android.util.AndroidException: INSTRUMENTATION_FAILED: com.jzj1993.black.test/android.test.InstrumentationTestRunner
at com.android.commands.am.Am.runInstrument(Am.java:802)
at com.android.commands.am.Am.onRun(Am.java:242)
at com.android.internal.os.BaseCommand.run(BaseCommand.java:47)
at com.android.commands.am.Am.main(Am.java:75)
at com.android.internal.os.RuntimeInit.nativeFinishInit(Native Method)
at com.android.internal.os.RuntimeInit.main(RuntimeInit.java:235)
at dalvik.system.NativeStart.main(Native Method)
一般是因为TestRunner没有安装成功,或者在命令中写错包名等,可以用adb shell pm list instrumentation
查看已经安装的TestRunner。
找不到被测试包 Target Package
adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner
INSTRUMENTATION_STATUS: id=ActivityManagerService
INSTRUMENTATION_STATUS: Error=Unable to find instrumentation target package: com.jzj1993.test_instrumentation
INSTRUMENTATION_STATUS_CODE: -1
android.util.AndroidException: INSTRUMENTATION_FAILED: com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner
at com.android.commands.am.Am.runInstrument(Am.java:802)
at com.android.commands.am.Am.onRun(Am.java:242)
at com.android.internal.os.BaseCommand.run(BaseCommand.java:47)
at com.android.commands.am.Am.main(Am.java:75)
at com.android.internal.os.RuntimeInit.nativeFinishInit(Native Method)
at com.android.internal.os.RuntimeInit.main(RuntimeInit.java:235)
at dalvik.system.NativeStart.main(Native Method)
一般是因为待测试包没有安装成功,或者TestRunner的Target和安装的包不一致。
找不到目标类 ClassNotFound
adb shell am instrument -w com.jzj1993.black.test.test/android.test.InstrumentationTestRunner
android.test.suitebuilder.TestSuiteBuilder$FailedToCreateTests:
Error in testSuiteConstructionFailed:
java.lang.RuntimeException: Exception during suite construction
at android.test.suitebuilder.TestSuiteBuilder$FailedToCreateTests.testSuiteConstructionFailed(TestSuiteBuilder.java:238)
at java.lang.reflect.Method.invokeNative(Native Method)
at android.test.AndroidTestRunner.runTest(AndroidTestRunner.java:191)
at android.test.AndroidTestRunner.runTest(AndroidTestRunner.java:176)
at android.test.InstrumentationTestRunner.onStart(InstrumentationTestRunner.java:554)
at android.app.Instrumentation$InstrumentationThread.run(Instrumentation.java:1701)
Caused by: java.lang.reflect.InvocationTargetException
at java.lang.reflect.Constructor.constructNative(Native Method)
at java.lang.reflect.Constructor.newInstance(Constructor.java:417)
at android.test.suitebuilder.TestMethod.instantiateTest(TestMethod.java:87)
at android.test.suitebuilder.TestMethod.createTest(TestMethod.java:73)
at android.test.suitebuilder.TestSuiteBuilder.addTest(TestSuiteBuilder.java:262)
at android.test.suitebuilder.TestSuiteBuilder.build(TestSuiteBuilder.java:184)
at android.test.InstrumentationTestRunner.onCreate(InstrumentationTestRunner.java:379)
at android.app.ActivityThread.handleBindApplication(ActivityThread.java:4435)
at android.app.ActivityThread.access$1300(ActivityThread.java:141)
at android.app.ActivityThread$H.handleMessage(ActivityThread.java:1316)
at android.os.Handler.dispatchMessage(Handler.java:99)
at android.os.Looper.loop(Looper.java:137)
at android.app.ActivityThread.main(ActivityThread.java:5103)
at java.lang.reflect.Method.invokeNative(Native Method)
at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:737)
at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:553)
at dalvik.system.NativeStart.main(Native Method)
Caused by: java.lang.ClassNotFoundException: com.jzj1993.black.MainActivity
at java.lang.Class.classForName(Native Method)
at java.lang.Class.forName(Class.java:204)
at java.lang.Class.forName(Class.java:169)
at com.jzj1993.black.test.BlackBoxTest.<init>(BlackBoxTest.java:17)
... 18 more
Caused by: java.lang.NoClassDefFoundError: com/jzj1993/black/MainActivity
... 22 more
Caused by: java.lang.ClassNotFoundException: Didn't find class "com.jzj1993.black.MainActivity" on path: DexPathList[[zip file "/system/framework/android.test.runner.jar", zip file "/data/app/com.jzj1993.black.test.test-1.apk", zip file "/data/app/com.jzj1993.black.test-2.apk"],nativeLibraryDirectories=[/data/app-lib/com.jzj1993.black.test.test-1, /data/app-lib/com.jzj1993.black.test-2, /system/lib]]
at dalvik.system.BaseDexClassLoader.findClass(BaseDexClassLoader.java:53)
at java.lang.ClassLoader.loadClass(ClassLoader.java:501)
at java.lang.ClassLoader.loadClass(ClassLoader.java:461)
... 22 more
Test results for InstrumentationTestRunner=.E
Time: 0.008
FAILURES!!!
Tests run: 1, Failures: 0, Errors: 1
这个错误是TestRunner抛出的异常。常见有几种可能:
- 测试代码中的目标包名、类名,和实际安装在设备上的APK包名、类名不一致;
- TestRunner的包名和被测试包名不匹配(一般情况下,例如被测试APK包名为com.example.target,则TestRunner包名应为com.example.target.test);
- 其他
签名不一致
adb shell am instrument -w com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner
INSTRUMENTATION_STATUS: id=ActivityManagerService
INSTRUMENTATION_STATUS: Error=Permission Denial: starting instrumentation ComponentInfo{com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner} from pid=9230, uid=9230 not allowed because package com.jzj1993.test_instrumentation.test does not have a signature matching the target com.jzj1993.test_instrumentation
INSTRUMENTATION_STATUS_CODE: -1
java.lang.SecurityException: Permission Denial: starting instrumentation ComponentInfo{com.jzj1993.test_instrumentation.test/android.test.InstrumentationTestRunner} from pid=9230, uid=9230 not allowed because package com.jzj1993.test_instrumentation.test does not have a signature matching the target com.jzj1993.test_instrumentation
at android.os.Parcel.readException(Parcel.java:1431)
at android.os.Parcel.readException(Parcel.java:1385)
at android.app.ActivityManagerProxy.startInstrumentation(ActivityManagerNative.java:2938)
at com.android.commands.am.Am.runInstrument(Am.java:801)
at com.android.commands.am.Am.onRun(Am.java:242)
at com.android.internal.os.BaseCommand.run(BaseCommand.java:47)
at com.android.commands.am.Am.main(Am.java:75)
at com.android.internal.os.RuntimeInit.nativeFinishInit(Native Method)
at com.android.internal.os.RuntimeInit.main(RuntimeInit.java:235)
at dalvik.system.NativeStart.main(Native Method)
最后,欢迎扫码关注微信公众号。程序员同行学习交流,聊天交友,国内外名企求职内推(微软 / 小冰 / Amazon / Shopee / Coupang / ATM / 头条 / 拼多多等),可加我微信 jzj2015 进技术群(备注进技术群,并简单自我介绍)。

本文由jzj1993原创,转载请注明来源:https://www.paincker.com/android-test-7
(标注了原文链接的文章除外)
无源码的情况,你有运行过么
你运行成功过?
您好我在进行测试的时候显示INSTALL_FAILED_CONFLICTING_PROVIDER 意思是test包和主包邮签名冲突?可是这个冲突是怎么回事?
没遇到过这个问题,网上再找找吧,好像是provider标签的authority属性冲突了~
你好,请问能共享一下源码吗? 万分感谢
我之前的源码找不到了……源码就是文章里写的那些,总共也没几行,自己建个工程贴进去就好了
再问一下,我只拿到一个待测试的apk和签名文件,我想在androidTest目录下写黑盒测试的代码,但是代码写好之后就不知道怎么使用签名文件来对androidTest目录下的代码进行打包,求指导
您好,我的签名也是不一致,我拿到签名文件了,我想问用gradle assembleDebugAndroidTest命令可以把签名文件打到apk里吗?是需要在app/build.gradle中设置签名文件吗?
签名可以在build.gradle中配置。当然也可以用android提供的命令行工具,对已经生成的apk进行重签名,具体方法可以网上找找。
您好,签名不一致问题怎么解决的啊
给测试代码指定和被测试应用相同的签名文件就可以了,不过如果拿不到被测试应用的签名文件,那就没办法了……