EnglishA/B測試的ABC
我們前期所介紹的“同期群”分析法是對于時間窗口上不同時間段的特定指標比較，而今天所介紹的“A/B測試”是同一個時間窗口上不同用戶群針對不同版本的反應做比較。
所謂A/B測試，是用來比較兩個（或多個）版本的網頁或者APP哪個“表現”更好的一種實驗。A/B測試本質上是一個實驗。在這個實驗中，一個頁面的兩個或多個不同的方案顯示給特定用戶群（此用戶分群有可能為隨機，也有可能有特定特征），然后根據統計數據來分析，哪個方案在指定的“表現”上更好。我們經常會面臨多個設計方案或營銷策略的選擇，A/B測試是解決這類問題很好的方法。
通過A/B測試，我們可以對比不同版本的用戶體驗區別，并針對更新版的網頁或APP提問，然后收集相關數據，分析更新版網頁或APP對我們既定的度量指標造成的影響。
目前市面上的大部分A/B測試工具均不支持對流量進行計劃分配即流量分配策略（一般為隨機分配）。這樣得到的測試結果，不僅不能真實的反映出目標核心用戶的喜好還有可能給產品經理造成誤導，對產品改進方向做出誤判。在這推薦用戶行為分析工具Cobub Razor，它可以幫我們準確的識別用戶屬性，從而為A/B測試提供流量分配策略，保證流量分配的科學性，試驗結果的可信性。此外Cobub還提供了實驗目標指標的實時監控及數據分析，我們可以根據分析結果實時優化調整流量策略，助力形成產品優化的閉環。
A/B測試有利于我們從界面優化中生成假設，也有利于我們依據充分的數據分析結論做出正確的決策。有A/B測試的支持，我們做決策時就可以從拍腦袋的“我認為…”轉變為從數據分析結果來看“我們知道…”。通過衡量更新版對各個度量指標的影響，我們可以確保每個更新變化都產生積極的結果。
A/B測試如何運作？
在A/B測試中，我們可以給同一個網頁或APP界面創建更新版。版本之間的差異可以非常簡單，如改動單個圖標或按鈕，也可以對頁面完全重新設計。測試過程中，我們按既定策略給一半用戶顯示頁面原始版（稱之為控制組），一半顯示頁面的更新版（稱之為測試組）。
在A/B測試中，我們收集控制組和測試組的用戶行為數據，然后分析更新版對用戶行為造成的影響。
為什么需要A/B測試？
不管是個人，團隊還是公司，做A/B測試分析數據結果之后，我們可以用數據說話，來優化產品、提升用戶體驗，讓用戶行為朝著我們期望的方向發展。A/B測試還能驗證我們的假設。有時候我們從經驗出發做出的產品改變并不能讓得到我們預期的結果（原因是我們的客戶不是讓我們隨意安排的）。通過A/B測試，我們可以擺脫經驗主義，轉向數據驅動產品發展。
A/B測試能持續不斷地讓我們對產品做出改進，不斷提升用戶體驗，從而幫助我們達到各種目標，比如注冊率、轉化率等。
例如，運營團隊想要通過一個營銷活動的著陸頁來提高銷售指標，為了達到這個目的，我們會嘗試對標題、視覺圖像、表單、行動按鈕以及頁面的整體布局進行A/B測試。
每次測試一個更改，可以幫助我們確定哪些更改對用戶的行為產生了影響。隨著時間的推移，我們的產品就會因為測試中產生的這些成功改進而變的越來越好。
A/B測試使我們能夠在營銷活動中針對我們想要的結果來優化產品并讓用戶基于我們的目標采取行動。
通過測試廣告文案，我們可以了解哪個版本吸引了更多用戶的點擊。通過測試隨后的登錄頁面，我們可以了解到哪種布局可以促進用戶的購買。如果每個步驟的改動都能有效獲得新客戶，那么營銷活動成本就會大大的降低。
A/B測試也可以被產品經理和設計師用來演示新特性或者改變用戶體驗產生的影響。產品的登錄、用戶參與、模式和產品體驗都可以通過A/B測試進行優化。總之，我們可以通過A/B測試來實現目標，驗證假設。
A/B測試過程
下面是A/B測試框架，我們可以用它來運行測試：
? 收集數據：對產品進行數據分析可以讓我們發現問題從而找到需要優化的方向。首先我們需要收集數據，可以從站點或APP高流量的區域開始，這有助于我們快速發現問題的關鍵所在。同時我們需要尋找能夠改進的低轉化率和高流失率的頁面。
? 確定目標：我們的轉換目標是用來衡量更新版是否比原始版用戶體驗更好，更成功的標準。目標可以是任何東西，如點擊一個按鈕、鏈接到產品購買或者完成注冊等。
? 生成假設：一旦明確了目標，我們就可以生成A/B測試的假設，這個假設用來解釋為什么我們覺得更新版比原始版更好。在有了這個假設清單之后，我們可以按照預期的結果和實施難度來按順序進行測試。
? 創建變化：有了前面幾步之后，我們就可以對我們的網站或APP做出期望的改變，設計出迭代方案，這些改變可以是按鈕的顏色、頁面元素的順序交換、隱藏導航或者完全重新布局的東西。我們創建的這些變化要確保它們符合我們的預期目標。
? 運行實驗：啟動我們的實驗，等待用戶參與。在這一步，我們網站或APP的用戶會被隨機分配到控制組和測試組，用戶每一步的操作都會被紀錄采集，計算和比較，以確定控制組和測試組在每一項改變上的表現。
? 分析結果：實驗完成之后就是結果分析。A/B測試會顯示實驗數據，并告訴我們兩個版本的用戶行為是否存在顯著差異。
? 發布最佳版本：如果測試組的行為達到了我們的預期目標，那么我們就可以繼續根據A/B測試結果進一步改進產品。反之，也不必氣餒，我們可以把此次測試作為經驗并且生成新的假設然后繼續測試。
不管測試結果如何，我們都要根據測試經驗來實現產品優化的閉環并持續不斷的提升用戶體驗。
以下是使用A/B測試過程中常產生的幾個誤區：
? 試驗成功不等于效果提升
? 隨機選取用戶參與試驗
? 多次試驗，一點修改
? 屏蔽A/B版本的人為選擇