0

有谁知道为什么使用旧版应用程序且在配置中没有新实验的用户算作实验的一部分?这是场景:

我的应用程序版本 1 带有实验 A 和新用户new_install的激活事件

然后我为新用户new_install创建具有相同激活事件的应用程序版本 2 和新实验B。我开始在 firebase 控制台上进行实验。

现在我正在等待应用程序被苹果应用商店批准或开始在 android 上推出。甚至在任何用户获得应用程序版本 2 之前,我就已经在 firebase 控制台上的实验 B 中看到了许多用户。

我希望应用程序版本 1 的用户不会参与实验,因为远程配置在应用程序版本 1 中没有实验 B 的默认值,但似乎因为用户仍在安装应用程序版本 1 并且触发了new_install事件,他们当它不在应用程序版本 1 中时,将被计为实验 B 事件的一部分。

是特色吗?漏洞?我应该为每个实验创建自定义激活事件吗?

4

1 回答 1

0

这实际上很容易预防——一般来说,这也是 A/B 测试的良好做法——只针对至少具有给定应用程序版本的用户。通常它将是版本,因为您已正确设置了远程配置。

如果他们没有远程配置参数,我不会依赖 Firebase 包括或排除用户。今天它的工作方式可能与一个月后的工作方式不同。如果无法保证,请确保您针对的是正确设置的用户。

于 2020-01-27T18:22:52.043 回答