0

我们有一个使用 CodedUI 的自动化测试框架,在专用自动化服务器上​​链接 Ranorex (5.4.2)、VSO 2013 (TFS) 和 VS 2013。它按照由 MTM 中的查询确定的顺序运行测试,该查询按测试用例 ID 升序对它们进行排序,并且直到最近一直运行良好:

在此处输入图像描述

MTM 测试运行日志显示它们按正确的测试用例 ID 升序排列。在此图中,您可以看到测试用例 ID 序列从第 9 行的测试用例 ID 607 到第 10 行的测试用例 ID 624: 在此处输入图像描述

在上周,我们注意到虽然查询中测试的顺序没有改变,但在 MTM 中准备测试运行时,测试正在重新排序: 在此处输入图像描述

在第二张图中,您可以看到序列从第 9 行的测试用例 ID 607 变为第 10 行的测试用例 ID 25285。序列继续以非常杂乱无章的方式来回跳跃。这导致了我们的问题,因为一些后来的测试依赖于早期测试中生成的测试数据,因此当这些数据不可用时失败,因为测试运行得比它应该做的早。

查询中的测试顺序没有任何变化,我们也没有添加任何新测试,但我们的开发人员最近在这开始发生时安装了Visual Studio 2013 Update 5 。

有没有人遇到过这个问题,或者知道这是否是由于最近的 VS 更新造成的?我打了又打,但在任何其他网站上都找不到类似的东西。

更新 我通过运行少量测试进一步调查了这一点:

在此处输入图像描述

在日志第 10 行的测试运行期间,它们再次失序。第 13 行包含应该在第 10 行出现的测试:

在此处输入图像描述

我已经没有关于如何解决这个问题的想法,所以任何帮助都将不胜感激。

4

0 回答 0