玩遊戲不難 ● 做營運好難

---------------------------------------------
【好康插播】「GoingBus」，提供價格近乎對折的影音平台帳號合租服務 <<了解更多>>
---------------------------------------------

最近這兩週我在研究A/B測試，
何謂A/B測試我就直接引用文章內的話：
「針對某一需要改進的功能、頁面或是產品，提供兩種或以上的方案，合理分配流量，將不同方案发布給不同用戶。在運行一段時間後，結合各項指標和科學的統計方法，對比實驗數據做出決策，將最優方案更新給全量用戶。」

因此，A/B測試在現今網路行業中被用的相當頻繁，
Google更是把A/B測試視為圭臬，大到一個功能，小到一個按鈕的顏色都要做A/B測試，
也因為Google進行了大量的A/B測試，
把用戶旅程(user journey)中每個節點的轉換率一步步提高，
使得每次產品功能或是頁面的改動更符合多數用戶需求，自然效能與績效就能極大化，
其他像是臉書、亞馬遜等電商公司，都是將A/B測試納入必要的工作項目內。

專門在做這工作的人，現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker)，
大家到104人力銀行搜尋就知道其工作內容，這邊不贅述。
(注意，A/B測試只是成長駭客內的其中一個工作項目，並非成長駭客就只做A/B測試，差很多)

遊戲業坦白說在營運上不太會進行A/B測試，
因為用戶幾乎都從雙平台上下載遊戲，
如果要做A/B測試就只能在雙平台上著手，
新產品或許還能這樣做，
但對既有產品來說就不切實際點，
因此A/B測試通常會出現在廣告的買量測試中。

以下分享我自己在A/B測試上的心得分享：

1.A/B測試不代表一次只能測試兩個，你想測試2個以上也行，主要是得確認每個群體樣本數要夠多，如果樣本數太少，達不到性效度的話，做出來的結果就沒有參考價值。

2.如何確認有足夠的樣本數呢？身為營運人員，自家的營運數據自己最清楚，可以透過這個網站輸入母體大小，就會自動算出要多少樣本數才能達到統計顯著性。

3.假設是投放廣告，如果不曉得母體會有多少，那可以用以下免費工具來反推，例如你想要達到的轉換率是1%提升到5%，這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠，就能判斷買量要買多少。

4.會需要計算上述的原因主要有兩個，一個是預算問題，另一個是在不確定風險下，建議做足夠樣本數就好。
舉例來說，如果今天某款遊戲每月付費玩家有10,000人，今天如果想改動一個功能，可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
但這樣就會有一個風險，萬一今天這個改動是失敗的，等於就會直接影響到5,000人，那在A/B測試時間，可能就開始蒙受不小的營收損失，因此如果能事前估出足夠的樣本數，就能降低上述風險。
以10,000人這例子，丟到頁面內，只要370人的樣本就能達到統計顯著性了，不用分到50% / 50%這麼多，只要5%就足夠了，這樣即使A/B測試不理想，也只會影響到那5%付費用戶。

5.要確保兩個群體是完全獨立，而非交集，如果有交集，就會影響分析結果。
這點比較吃技術的工，技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內，如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話，那就會導致數據上判讀出現錯誤。

6.不要在一個A/B測試還沒做完情況下，又緊接著做另一個A/B測試，除非能確定這兩個A/B測試是完全不相干，不然不但在分析時不容易分清楚每個群體，也很容易影響整個數據的分析。

7.做出來的結果到底有沒有達到統計顯著性，可以把數據輸入到這個網頁內，非常方便。

8.A/B 測試前，可以先執行A/A測試，先確認目前的隨機分配中有沒有其他的變異數，確保這兩個群體的營運數據夠乾淨。
由於測試的是群體內有沒有其他變異數，而非方案本身，因此在流量分配上就能夠以50% / 50%進行。

以上就是我對於A/B 測試目前的經驗與心得分享，
A/B 測試如果要再探討下去絕對有更多的理論基礎與分析模組，
我自己也還在學習摸索中，
日後如果有甚麼心得或是勘誤，我會持續更新在這篇文章中，
如果你有其他心得或是已經發現錯誤的地方，也歡迎分享給我。

參考資料：A/B 測試要測多久？從統計顯著與檢定力看廣告測試結果

延伸閱讀：谷歌是怎么用A/B測試的

================

隨時關注我的粉絲團，
不定時提供遊戲資訊與商業心得。
https://www.facebook.com/9i543

---------------------------------------------
【好康插播】「GoingBus」，提供價格近乎對折的影音平台帳號合租服務 <<了解更多>>
---------------------------------------------