營運小教室第38堂：A/B測試的注意事項－玩遊戲不難 ● 做營運好難

營運小教室第38堂：A/B測試的注意事項

---------------------------------------------
【好康插播】「GoingBus」，提供價格近乎對折的影音平台帳號合租服務 <<了解更多>>
---------------------------------------------

A/B測試先前分享了許多文章，
我自己也寫過一篇分享A/B測試要點。

可以說在現實商業世界中，
A/B測試已經是個不可或缺的環節，
主要原因是商業世界內存在著太多變因，
很難透過不同時間區間的比較來驗證某項改動或某項功能具有成效。

而A/B測試很好解決了上述原因，
「我們無法像科學家在實驗室研究一樣抹去各項變因，但至少我們能確保受眾都受到同樣的變因影響。」

雖然A/B測試有許多優點，
但在實作與事後的分析卻有許多需要注意的地方，
以減少誤判的發生。

1.要確保各分群的用戶體驗一致

有時候在做A/B測試時，為求快速進行實作，實驗組做的改動與調整可能過於簡陋粗糙，以致於在整個用戶體驗上，實驗組並沒有獲得同樣流暢的體驗。

這樣就會導致整個A/B測試會出現偏誤(bias)，看似在做A/B測試，但實際上整個實驗結果可能早就倒向對照組，提前預告實驗組的失敗。

2.數據要完整開展用戶旅程，逐一檢視節點轉換率

A/B測試一定會設定目標，例如付費轉換率。
但事後的分析卻不能僅單單看最後的付費轉換率而已，而是要把各分群的用戶旅程逐一開展，檢視其中各節點的轉換率。

例如A群的付費轉換率為10%，B群的付費轉換率為8%，看似A群的操作更佳，
但檢視了用戶旅程後，說不定會發現B群在付費前的各項行為均優於A組，只要在最後付費的環節上加以優化，其付費轉換率就能顯著提升超越A組。

這就跟我們在做營運分析時的道理一樣，
不能僅光看營收做判斷，如果再細分到付費比、客單價，甚至更細後，又能針對數據做出不同的解讀、判斷與處置。

3.進一步細分受眾做分析

這點與第2點有些類似，但拆解的方式不同。

同樣以A群付費轉換率10%，B群付費轉換率8%為例。

就能針對新舊用戶、有無付費、電腦瀏覽器、手機裝置(Andriod、iOS)、國家等類別去檢視轉換率，
說不定又能看出不同的端倪出來。

結論一下，
A/B測試從字面上說起來簡單，
但實際操作時要注意的細節非常多，
事前要確保用戶旅程的順暢性，
事後除了最終目標的比對外，還要以不同面向去細分受眾進一步確認。

如此得出的結果才有其準確度與可信度，
後續完整對外發佈時，
實際的商業結果才會更趨近於A/B測試。

但，只是更趨近，還是會翻車。

例如﹐你在A/B測試，發現給虛寶A的玩家，其付費率與留存率明顯高於虛寶B，
所以當你舉辦了一個所有玩家都發免費虛寶A的活動時，真的付費率和留存率就提升了嗎？

可能不會，
因為你的活動吸引了大批玩家瘋狂開新帳號刷虛寶A，
導致付費率和留存率不升反掉，
你要說這是A/B測試的結果有誤嗎？

不是，是輕忽人性的貪婪與未考量到其他未測試的環節有漏洞可鑽。

因此，A/B測試不會說謊，但得到的數據卻可能會被我們誤讀或做錯誤的應用。

以上就是我對於A/B測試的心得分享，希望對你有幫助。

玩遊戲不難 ● 做營運好難