我們前期所介紹的“同期群”分析法是對于時(shí)間窗口上不同時(shí)間段的特定指標(biāo)比較，而今天所介紹的“A/B測試”是同一個(gè)時(shí)間窗口上不同用戶群針對不同版本的反應(yīng)做比較。 ]]>
我們前期所介紹的“同期群”分析法是對于時(shí)間窗口上不同時(shí)間段的特定指標(biāo)比較，而今天所介紹的“A/B測試”是同一個(gè)時(shí)間窗口上不同用戶群針對不同版本的反應(yīng)做比較。
所謂A/B測試，是用來比較兩個(gè)（或多個(gè)）版本的網(wǎng)頁或者APP哪個(gè)“表現(xiàn)”更好的一種實(shí)驗(yàn)。A/B測試本質(zhì)上是一個(gè)實(shí)驗(yàn)。在這個(gè)實(shí)驗(yàn)中，一個(gè)頁面的兩個(gè)或多個(gè)不同的方案顯示給特定用戶群（此用戶分群有可能為隨機(jī)，也有可能有特定特征），然后根據(jù)統(tǒng)計(jì)數(shù)據(jù)來分析，哪個(gè)方案在指定的“表現(xiàn)”上更好。我們經(jīng)常會(huì)面臨多個(gè)設(shè)計(jì)方案或營銷策略的選擇，A/B測試是解決這類問題很好的方法。
通過A/B測試，我們可以對比不同版本的用戶體驗(yàn)區(qū)別，并針對更新版的網(wǎng)頁或APP提問，然后收集相關(guān)數(shù)據(jù)，分析更新版網(wǎng)頁或APP對我們既定的度量指標(biāo)造成的影響。
目前市面上的大部分A/B測試工具均不支持對流量進(jìn)行計(jì)劃分配即流量分配策略（一般為隨機(jī)分配）。這樣得到的測試結(jié)果，不僅不能真實(shí)的反映出目標(biāo)核心用戶的喜好還有可能給產(chǎn)品經(jīng)理造成誤導(dǎo)，對產(chǎn)品改進(jìn)方向做出誤判。在這推薦用戶行為分析工具Cobub Razor，它可以幫我們準(zhǔn)確的識(shí)別用戶屬性，從而為A/B測試提供流量分配策略，保證流量分配的科學(xué)性，試驗(yàn)結(jié)果的可信性。此外Cobub還提供了實(shí)驗(yàn)?zāi)繕?biāo)指標(biāo)的實(shí)時(shí)監(jiān)控及數(shù)據(jù)分析，我們可以根據(jù)分析結(jié)果實(shí)時(shí)優(yōu)化調(diào)整流量策略，助力形成產(chǎn)品優(yōu)化的閉環(huán)。
A/B測試有利于我們從界面優(yōu)化中生成假設(shè)，也有利于我們依據(jù)充分的數(shù)據(jù)分析結(jié)論做出正確的決策。有A/B測試的支持，我們做決策時(shí)就可以從拍腦袋的“我認(rèn)為…”轉(zhuǎn)變?yōu)閺臄?shù)據(jù)分析結(jié)果來看“我們知道…”。通過衡量更新版對各個(gè)度量指標(biāo)的影響，我們可以確保每個(gè)更新變化都產(chǎn)生積極的結(jié)果。
A/B測試如何運(yùn)作？
在A/B測試中，我們可以給同一個(gè)網(wǎng)頁或APP界面創(chuàng)建更新版。版本之間的差異可以非常簡單，如改動(dòng)單個(gè)圖標(biāo)或按鈕，也可以對頁面完全重新設(shè)計(jì)。測試過程中，我們按既定策略給一半用戶顯示頁面原始版（稱之為控制組），一半顯示頁面的更新版（稱之為測試組）。
在A/B測試中，我們收集控制組和測試組的用戶行為數(shù)據(jù)，然后分析更新版對用戶行為造成的影響。
為什么需要A/B測試？
不管是個(gè)人，團(tuán)隊(duì)還是公司，做A/B測試分析數(shù)據(jù)結(jié)果之后，我們可以用數(shù)據(jù)說話，來優(yōu)化產(chǎn)品、提升用戶體驗(yàn)，讓用戶行為朝著我們期望的方向發(fā)展。A/B測試還能驗(yàn)證我們的假設(shè)。有時(shí)候我們從經(jīng)驗(yàn)出發(fā)做出的產(chǎn)品改變并不能讓得到我們預(yù)期的結(jié)果（原因是我們的客戶不是讓我們隨意安排的）。通過A/B測試，我們可以擺脫經(jīng)驗(yàn)主義，轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品發(fā)展。
A/B測試能持續(xù)不斷地讓我們對產(chǎn)品做出改進(jìn)，不斷提升用戶體驗(yàn)，從而幫助我們達(dá)到各種目標(biāo)，比如注冊率、轉(zhuǎn)化率等。
例如，運(yùn)營團(tuán)隊(duì)想要通過一個(gè)營銷活動(dòng)的著陸頁來提高銷售指標(biāo)，為了達(dá)到這個(gè)目的，我們會(huì)嘗試對標(biāo)題、視覺圖像、表單、行動(dòng)按鈕以及頁面的整體布局進(jìn)行A/B測試。
每次測試一個(gè)更改，可以幫助我們確定哪些更改對用戶的行為產(chǎn)生了影響。隨著時(shí)間的推移，我們的產(chǎn)品就會(huì)因?yàn)闇y試中產(chǎn)生的這些成功改進(jìn)而變的越來越好。
A/B測試使我們能夠在營銷活動(dòng)中針對我們想要的結(jié)果來優(yōu)化產(chǎn)品并讓用戶基于我們的目標(biāo)采取行動(dòng)。
通過測試廣告文案，我們可以了解哪個(gè)版本吸引了更多用戶的點(diǎn)擊。通過測試隨后的登錄頁面，我們可以了解到哪種布局可以促進(jìn)用戶的購買。如果每個(gè)步驟的改動(dòng)都能有效獲得新客戶，那么營銷活動(dòng)成本就會(huì)大大的降低。
A/B測試也可以被產(chǎn)品經(jīng)理和設(shè)計(jì)師用來演示新特性或者改變用戶體驗(yàn)產(chǎn)生的影響。產(chǎn)品的登錄、用戶參與、模式和產(chǎn)品體驗(yàn)都可以通過A/B測試進(jìn)行優(yōu)化。總之，我們可以通過A/B測試來實(shí)現(xiàn)目標(biāo)，驗(yàn)證假設(shè)。
A/B測試過程
下面是A/B測試框架，我們可以用它來運(yùn)行測試：
? 收集數(shù)據(jù)：對產(chǎn)品進(jìn)行數(shù)據(jù)分析可以讓我們發(fā)現(xiàn)問題從而找到需要優(yōu)化的方向。首先我們需要收集數(shù)據(jù)，可以從站點(diǎn)或APP高流量的區(qū)域開始，這有助于我們快速發(fā)現(xiàn)問題的關(guān)鍵所在。同時(shí)我們需要尋找能夠改進(jìn)的低轉(zhuǎn)化率和高流失率的頁面。
? 確定目標(biāo)：我們的轉(zhuǎn)換目標(biāo)是用來衡量更新版是否比原始版用戶體驗(yàn)更好，更成功的標(biāo)準(zhǔn)。目標(biāo)可以是任何東西，如點(diǎn)擊一個(gè)按鈕、鏈接到產(chǎn)品購買或者完成注冊等。
? 生成假設(shè)：一旦明確了目標(biāo)，我們就可以生成A/B測試的假設(shè)，這個(gè)假設(shè)用來解釋為什么我們覺得更新版比原始版更好。在有了這個(gè)假設(shè)清單之后，我們可以按照預(yù)期的結(jié)果和實(shí)施難度來按順序進(jìn)行測試。
? 創(chuàng)建變化：有了前面幾步之后，我們就可以對我們的網(wǎng)站或APP做出期望的改變，設(shè)計(jì)出迭代方案，這些改變可以是按鈕的顏色、頁面元素的順序交換、隱藏導(dǎo)航或者完全重新布局的東西。我們創(chuàng)建的這些變化要確保它們符合我們的預(yù)期目標(biāo)。
? 運(yùn)行實(shí)驗(yàn)：啟動(dòng)我們的實(shí)驗(yàn)，等待用戶參與。在這一步，我們網(wǎng)站或APP的用戶會(huì)被隨機(jī)分配到控制組和測試組，用戶每一步的操作都會(huì)被紀(jì)錄采集，計(jì)算和比較，以確定控制組和測試組在每一項(xiàng)改變上的表現(xiàn)。
? 分析結(jié)果：實(shí)驗(yàn)完成之后就是結(jié)果分析。A/B測試會(huì)顯示實(shí)驗(yàn)數(shù)據(jù)，并告訴我們兩個(gè)版本的用戶行為是否存在顯著差異。
? 發(fā)布最佳版本：如果測試組的行為達(dá)到了我們的預(yù)期目標(biāo)，那么我們就可以繼續(xù)根據(jù)A/B測試結(jié)果進(jìn)一步改進(jìn)產(chǎn)品。反之，也不必氣餒，我們可以把此次測試作為經(jīng)驗(yàn)并且生成新的假設(shè)然后繼續(xù)測試。
不管測試結(jié)果如何，我們都要根據(jù)測試經(jīng)驗(yàn)來實(shí)現(xiàn)產(chǎn)品優(yōu)化的閉環(huán)并持續(xù)不斷的提升用戶體驗(yàn)。
以下是使用A/B測試過程中常產(chǎn)生的幾個(gè)誤區(qū)：
? 試驗(yàn)成功不等于效果提升
? 隨機(jī)選取用戶參與試驗(yàn)
? 多次試驗(yàn)，一點(diǎn)修改
? 屏蔽A/B版本的人為選擇