当我使用以下命令运行 android CTS 完整测试时
run cts --plan CTS
每次它为某些包显示不同的结果时,我的意思是某些包在我每次重新运行完整测试时随机通过/失败。但是当我单独运行包时(某些测试失败的包),所有测试都通过了。
为什么我会看到这种行为?
环境:操作系统:Android L CTS 版本:5.1_r7
当我使用以下命令运行 android CTS 完整测试时
run cts --plan CTS
每次它为某些包显示不同的结果时,我的意思是某些包在我每次重新运行完整测试时随机通过/失败。但是当我单独运行包时(某些测试失败的包),所有测试都通过了。
为什么我会看到这种行为?
环境:操作系统:Android L CTS 版本:5.1_r7
某些 cts 测试涉及为某些事件设置的特定超时。例如,如果您正在运行与数据呼叫相关的 cts 测试,例如关闭/打开移动数据并将连接移动数据的超时设置为 10 秒,那么该测试有时会通过,有时会失败。在这种情况下,增加该超时将解决此问题。
关于运行多个包时测试用例失败的问题,失败之前的测试用例可能没有将设备设置为中性/原始状态以进行下一次测试。在退出测试用例时还原测试期间所做的所有更改是一种很好的做法。
它有时会发生一些测试随机失败,因为有时测试条件有时不满足,有时由于超时测试可能会失败。