<address id="3b9n9"><listing id="3b9n9"></listing></address>

      <form id="3b9n9"></form>

        <form id="3b9n9"><form id="3b9n9"><nobr id="3b9n9"></nobr></form></form>

              <address id="3b9n9"></address>

              一文讀懂AB測試完整流程

              在之前分享的文章中,主要為大家介紹了在熱云數據AppAdhoc A/B Testing平臺的試驗案例,這些案例場景不同,操作過程不同,結果也各有不同,但相同的是每一次AB測試都應遵循正確科學的方法和流程。所以你知道一次規范的AB測試需要做哪些工作嗎?

              1

              上圖即為一次完整的AB測試流程,看似步驟簡單,但AB測試本身就是精耕細作的過程,任何一個環節出現問題都會影響最終的結果,導致我們對業務結果的錯誤預判,細節決定了AB測試的結果是否準確、可用。所以本期我們來深入探討試驗過程中的一些注意事項,避免落入試驗陷阱。

              一、確定指標

              當我們準備做AB測試前,我們首先要清楚為什么要做AB測試。AB測試不同于其他用戶行為分析工具,二者的區別在于后者注重“面面俱到”,即通過大量細致的埋點或圈選,讓我們了解到每個用戶在產品上的具體行為,比如在哪個頁面瀏覽了,哪個按鈕點擊了,哪個頁面停留時間比較長等等。而當產品或運營同學拿到這些數據后,總會發現一些指標的效果是不盡人意的,那這些數據我們應該如何有效提升呢?所以這里就要提到AB測試了,當我們發現某個指標數據不如業內平均水平或者沒有達到預定KPI時,我們就可以把這個指標設置為本次試驗的關鍵指標,然后圍繞這個指標做出合理假設,推進試驗。

              在熱云數據AppAdhoc A/B Testing平臺,指標分為兩種:

              l?關鍵指標

              l?輔助指標

              關鍵指標即為在本次試驗中我們關注的最核心的北極星指標,可以根據產品所處階段或者拿到的待優化數據進行選??;一般情況下關鍵指標只有一個,但在實際業務中指標都是相關聯的,我們不能為了短期的關鍵目標而影響長期目標,所以這時我們就可以再設置幾個輔助指標幫助我們進行業務決策。

              二、?產生想法

              確定試驗指標后,我們就可以圍繞指標思考如何對頁面做出改動。產生想法的途徑有很多:比如日常的頭腦風暴,用戶的反饋意見等,只要想法是合理的,我們都可以利用AB測試進行嘗試。例如下圖的改版方案包含很多試驗設計:

              2
              三、設計試驗

              既然確定了指標,也有了改動的想法,那接下來我們就可以據此生成試驗版本,設計試驗了。設計試驗過程中要注意以下幾點:

              l?AB測試誰來做

              AB測試是一件需要團隊協作的工作,不是一個人能夠完成的。比如數據收集和分析的部分需要產品或運營同學,SDK集成部分需要開發同學,版本設計需要UI同學等等??傊瓵B測試需要各部門之間的配合協作,一起完成試驗。

              l?樣本量的確定

              關于樣本量的確定,之前的文章中我們有介紹過。在熱云數據AppAdhoc A/B Testing平臺我們會提供“樣本計算器”的小工具,無論是大流量還是小流量,都可以通過這個工具計算出試驗所需的樣本量以及試驗所需的時間,方便快捷。

              l?版本優劣的判斷

              正常情況下,我們都是以“指標轉化提升”為最終目標的,即正向指標。實際上有些業務場景,會有觀測負向指標的情況。

              例如,在上線了新的功能之后,將”問題反饋”(feedback)作為關鍵指標,希望測試新功能是否會產生一些未知BUG。此時該指標為負向指標,即反饋率越低越好,因此,在觀測試驗數據的時候,該指標的置信區間在試驗版本中的表現在下圖中的表現均為負向收斂。說明新版本上線后并沒有造成問題反饋增加的情況(需要特別注意,不能將新功能上線作為反饋率更低的根本原因,還需要根據試驗的具體運營情況得出更準確的判斷,此處僅為示例)

              3
              四、?集成上線

              集成上線部分的主要工作就是集成SDK(或API)和后臺配置。

              l??試驗模式

              熱云數據AppAdhoc A/B Testing平臺提供三種試驗模式:

              a. 可視化模式:可視化模式只需集成SDK,就可以在A/B平臺完成試驗版本編輯修改、設定優化指標,省去代碼工作量,大大提高試驗效率(適用于UI層面的調整)。

              b. 編程模式:該模式試驗提供更多自定義的功能,需要代碼集成,但編程模式能滿足各種復雜的試驗場景,適用范圍廣泛。

              c. 多鏈接合并模式:該模式可以將多個URL通過投放唯一的原始版本URL,將訪問原始版本URL的用戶自動分流到各個試驗頁面URL中,并獲取樣本和指標數據,驗證哪個URL頁面轉化率更高,適用于著陸頁推廣的場景。

              l?調整流量

              關于科學分流。不同版本之間的流量分配務必保證隨機均勻。在以往的試驗中,有些用戶希望某一版本的數據盡快增長,試驗運行1-2天后感覺某一版本指標轉化率達到增長預期,只提高了某一版本的流量,而保持其他版本的流量不變。從而打破了版本流量比例均衡的原則,這樣做的后果就是分流不均,試驗數據毫無參考價值。

              AppAdhoc A/B Testing平臺在客戶進行A/B試驗的同時,也支持客戶進行灰度發布,因此在底層設計的時候就允許用戶按需調整流量,在隨機且均勻的A/B測試進行中,發現了穩定增長的版本后,開始逐步提高獲勝版本的流量比例,直至100%推送版本,在此期間觀察用戶反饋,如果沒有異常反饋,就可以選擇一鍵推送來實現全量發布。

              五、?分析數據

              試驗結束后,我們通常根據置信區間是否收斂,統計功效是否顯著等判斷置信區間的表現。在熱云數據AppAdhoc A/B Testing平臺,置信區間有三種結果:

              4

              通過置信區間的表現,我們可以判斷試驗指標的轉化效果如何,是否可以推送至全量用戶。而一般能夠影響統計功效的就是流量是否充足,有時雖然置信區間收斂,但功效是不足的,這就說明參與試驗的樣本量不足,需要再跑一段時間收集更多的樣本量來達到功效足夠的效果。

              以上即為AB測試的完整流程,雖然試驗過程是復雜的,但卻實實在在能夠帶來價值。AB測試給了公司內部決策者一副“公正的耳朵”,幫助大家聽取用戶的訴求并做到用數據驅動決策。

              試驗驅動增長,盡在AppAdhoc!>>快速試用<<

              2413 Views
              即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
              Please wait...

              訂閱我們

              對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
              老卫张敏陈法蓉陈红,蜜桃视频一区二区在线看,亚洲AV无码专区亚洲AV桃花庵

                <address id="3b9n9"><listing id="3b9n9"></listing></address>

                  <form id="3b9n9"></form>

                    <form id="3b9n9"><form id="3b9n9"><nobr id="3b9n9"></nobr></form></form>

                          <address id="3b9n9"></address>