行业关键词分析：访客被分配到不同版本时怎样识别样本污染
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /0b72ba089b7f.html
📄
行业关键词分析：访客被分配到不同版本时怎样识别样本污染
先给结论：当同一批访客被随机或半随机地分配到两个版本后，若两组的来源构成、设备构成或进入时间明显不同，样本污染就已经发生。此时版本A与版本B的差异不能直接归因于版本本身，必须先判断污染来自分流机制，还是来自外部流量结构变化。
矛盾现象：B版本看起来更差，但只差在某一类访客
假设你正在做一次页面改版测试。整体看，B版本的停留时长和下一步点击都低于A版本，直觉会得出“B版本更差”的结论。但把访客拆开看，会发现B版本里来自站外推荐渠道的访客占比更高，而这类访客本来就更容易快速离开。也就是说，两个版本接收到的并不是同一种人。
这类反常结果通常有两个解释。第一种是分流机制本身有问题，例如同一访客反复进入时被重新分配，或某个入口的跳转逻辑把特定来源固定送进B版本。第二种是外部流量结构在测试期间发生变化，例如某条内容突然带来一批新访客，而他们恰好更多落入B版本。两者都会让版本对比失真，但处理方式完全不同。
先核对分流日志，而不是先看结果指标
区分两个解释的第一组证据来自分流记录，而不是页面表现。你需要确认三件事：同一访客标识是否在多次访问中保持同一版本；各来源渠道进入两个版本的比例是否接近预期；分流是否在用户进入页面前就已经完成。
一个可执行的动作是：抽取测试期间的分流日志，按访客标识做去重，再按来源、设备、首次进入时间三个维度分别统计两组的构成。如果发现某一来源在B版本中占比异常高，而该来源在测试开始前并不突出，那么外部流量结构变化的解释就更成立。接下来的动作不是立刻停掉B版本，而是把该来源单独隔离，观察剩余样本中两个版本的差异是否仍然存在。
如果隔离后差异消失，说明原先的整体差异主要由来源构成不同造成，版本本身的效应需要重新评估。如果隔离后差异仍然稳定存在，才值得继续检查版本内部的具体元素。
用进入时间切分，判断污染是持续的还是突发的
分流机制问题和外部流量变化还有一个可区分的证据：污染出现的时间形态。分流问题通常表现为持续偏移，即从测试开始起，两组构成就长期不一致；外部流量变化通常表现为突发偏移，即某个时间点后某一组突然多出大量特定访客。
你可以按天或按小时切分进入时间，分别计算两组中同一来源的占比。如果偏移曲线在某个时刻突然抬升，并且与某次站外曝光或推送时间接近，那么更可能是外部流量结构变化。如果偏移从第一天就存在且幅度稳定，则更可能是分流规则或入口跳转的问题。
这一步的实际动作是：把时间切分结果与分流规则变更记录、站外内容发布时间放在同一时间轴上对照。对照结果会直接影响下一步——若是分流问题，需要先修正分配逻辑再重跑；若是外部流量变化，则需要延长观察窗口或对来源做分层后再比较。
假设例子：分层之后差异缩小意味着什么
下面是一个假设例子，仅用于说明比较方法。假设测试第一周，A版本整体点击率为4%，B版本为3%。按来源分层后发现，来自站内推荐的访客在两个版本中点击率都接近5%，而来自站外推荐的访客点击率都接近1%。B版本中站外推荐访客占比更高，导致整体被拉低。
这个例子说明：整体差异可能只是构成差异的加权结果。要验证这一点，可以计算按来源分层后的版本差异，再与整体差异比较。如果分层后差异明显缩小，说明样本污染对结论的影响较大；如果分层后差异依然存在，说明版本因素仍值得进一步排查。这里的关键不是具体数字，而是分层前后差异是否改变。
识别样本污染后，下一步该做什么
确认样本污染存在后，不要直接宣布测试失败。更合理的动作是：先记录污染的类型和范围，再决定是修正分流、隔离污染来源，还是重新设计测试单元。若污染来自分流机制，修正后需要重新开始观察，不能把修正前的数据与修正后的数据直接拼接比较。若污染来自外部流量结构变化，可以在后续分析中对来源做分层，或等待流量结构稳定后再判断版本效应。
无论选择哪条路径，都要保留分流日志、来源构成和时间切分这三类证据。它们能帮助你在下一次出现反常结果时，快速判断是版本本身的问题，还是访客被分配的方式已经让样本不再可比。
