问题标签 [firebase-ab-testing]

我正在尝试将 Firebase A/B 测试用于网站变体。我怀疑 Firebase A/B 测试是否也支持 React.JS 页面？A/B 测试解决方案可用于初始页面加载，但不适用于类似 React 的页面未刷新时。React JS 页面使每个用户交互都提示每个 UI 元素刷新，这会导致删除 A/B 测试解决方案所做的任何修改。

但是，Optimizely 和 Adob​​e 等一些 A/B 测试供应商也支持 React.JS 页面的 A/B 测试支持。

When creating Firebase AB experiment our custom events don't show up on the Activation event list nor on the Goal metric event list. Both of those events are properly showing on the Analytics Event dashboard. To make things weirder, at different points in time there was a possibility to select one of them but they were never shown at the same time. Anyone experiencing something similar?

我在我最近的应用程序版本中运行了 Firebase A/B 测试，这是一个使用一个远程配置参数的实验。

几天后，生成了一个领导者，所以我推出了领导者并应用了更改。正如我所料，该实验现在应该成为一个已完成的实验，因为我已经获得了领导者并推出了它，但真正的是该实验仍在运行实验列表中，而不是在已完成的实验列表中。

我很困惑。有没有人遇到过同样的问题并且知道如何解决这个问题？

是firebase控制台的错误还是我的行为有问题？

我想知道是否可以“暂停”测试的注册，但 A/B 测试用户仍然会在几天内看到良好的变体实验。当“暂停”实验（导致远程配置失效）时，用户是否会有相同的体验并仍然看到treatment应用程序的版本，或者用户会control在接下来的几天内看到（原始）版本？这样，开始时注册的用户在测试中的持续时间将与最后一天注册的用户相同。

以及如何做到这一点？

我问是因为在某些 A/B 测试工具中，如果将用户分配给处理，您可以“暂停”A/B 测试并且用户仍会看到处理，但不会分配新用户进行处理. 但是，如果您关闭 A/B 测试，所有用户都会看到控制/原始版本。

谢谢

我们使用的是 Firebase iOS 框架 (5.9.0) 的当前版本，在尝试运行具有激活事件的 A/B 测试实验时遇到了一个奇怪的问题。

由于我们想在首次启动时运行实验，因此我们在应用程序启动时有一个自定义启动画面，我们会在获取远程配置时显示该启动画面。获取完成后，我们立即激活获取的配置，然后检查我们是否收到有关实验参与的信息以适当地重新配置下一个 UI。在我们确定当前实例实际上应该是测试的一部分之前，还需要进行额外的检查，从而确定激活事件。基本上，代码如下所示：

使用上述方法（这是完全直截了当的 IMO）无法正常工作。在启用调试器和 Firebase 日志记录之后，我可以在日志中看到发生了竞态条件问题。基本上，FirebaseactivateFetched()调用不会在 activateFetched 调用中同步设置“条件用户属性实验 ID”，而是在稍后的短时间内设置它。因此，我们在 activateFetched 之后立即触发激活事件不会触发此条件用户属性，并且后续的实验漏斗/目标事件未正确标记为实验的一部分（实验甚至一开始都没有被激活）。

如果我们更改代码以将激活事件的发送延迟一些任意延迟：

实验的条件用户属性预先正确设置并由事件触发（导致实验激活和后续事件被正确标记为实验的一部分）。

现在，这段代码显然很丑陋并且容易出现可能的竞争条件。0.5 秒的延迟保守地设置为希望在所有 iOS 设备上都足够了，但¯_(ツ)_/¯。我已经多次阅读了可用的文档，并尝试查看所有可用的 API 方法，但没有成功确定开始发送事件的正确点应该是什么。如果该activateFetched方法使用重新配置内部对象的异步过程，那么人们会期望一个回调方法，该方法向调用者指示所有重新配置完成并准备好供应用程序进一步使用的时间点。似乎框架工程师没有预料到有人需要在远程配置文件激活后立即发送激活事件的用例……</p>

有没有其他人遇到过这个问题？我们是否遗漏了 API 中的某些内容？有没有更聪明的方法来activateFetched完成它的事情？

希望一些 Firebase 工程师也能用他们的智慧加入:)

谢谢

我们对 AB 测试变体的不均衡存在问题。从理论上讲，两种变体的变体应该几乎相同，这实际上与我们之前所做的 AB 测试相当有效。

正如您在当前总用户数为 161k 的屏幕截图中所见，变体有 75.4k 和 85.9k。我们已经运行了几次这个测试，对代码进行了细微的修改，但每次都出现了类似的不成比例。

在运行 AB 测试中，我们将远程配置参数“ios_show_recent_searches_v2”空字符串设置为默认值。

使用激活事件运行 ab 测试的代码如下所示：

该函数GEFireBaseService.start在应用程序启动时调用。

我在 2 天前使用远程配置创建了 A/B 测试，并使用正则表达式添加了特定版本1\.4\.1[3-9]。但是 firebase 仪表板显示 0 个用户。

Remote Config & Remote Config Key，正则表达式完美运行

我在用着

Fireabse 4.5.0

FirebaseRemoteConfig (2.1.0)

问题是，两天后，Firebase 控制台一直说 0 个用户有

有什么我想念的吗？

对于我的个人移动应用程序，我有一段时间使用 adobe 分析。现在，我计划在其中集成 a/b 测试。我认为 Firebase A/B 测试是一种免费的选项。

但据我了解，A/B 测试与有助于定义目标集的分析数据密切合作。

那么在 Adob​​e Analytics 中使用 Firebase A/B 测试是个好主意吗？

我已经通过此处的文档实现了实时远程配置更新。

一般来说，它按预期工作，除了通过 A/B 测试进行实验时。影响远程配置的 A/B 测试更改不会触发更新云功能挂钩。

有谁知道当functions.remoteConfig.onUpdate通过 A/B 测试实验更改对远程配置进行更改时是否有可能触发云功能挂钩？

我能想到的唯一解决方法是在远程配置本身中有一个虚拟值，每当创建/更新实验时我都会更改它。

使用 Remote Config 进行 A/B 测试时，如果新的 iOS 版本使用了新的远程配置参数，是否会自动将旧版本排除在实验结果之外，因为它们没有在代码中使用该参数（它们不查询它，它们不提供默认值）？

如果没有，我们应该使用以下策略之一自动排除它们，还是有更好的方法？

• 使用“不包含”的应用版本并包含所有较旧的 iOS 版本。
• 创建一个将排除任何旧 iOS 版本的正则表达式。
• 创建一个虚拟激活事件，该事件在使用该新远程配置参数的每个版本上自动触发