<address id="3b9n9"><listing id="3b9n9"></listing></address>

      <form id="3b9n9"></form>

        <form id="3b9n9"><form id="3b9n9"><nobr id="3b9n9"></nobr></form></form>

              <address id="3b9n9"></address>

              AB測試8個常見誤區,你遇到過幾個?

              AB測試是產品經理和營銷人員進行方案優化時常用的方法,通過AB測試對比新老版本的轉化數據,從而更科學的判斷哪個版本效果更好,指導方案優化,持續提升產品體驗和轉化。但很多使用者在進行AB測試時不經意間就進入了誤區,無法有效進行AB測試。其中,常見的誤區主要有以下這些:

              1、未基于業務相關場景的AB測試假設

              誤 區 :為了得到真正可靠的結果,將網站或應用內的任何更改都進行 AB 測試。無論變化有多大,以及轉化改進帶來的預期增長情況如何,這并不重要。面面俱到的測試網站上的每個組件將會帶來令人難以置信的業務成果。

              真 相 :漫無無目的測試不僅會浪費寶貴的時間和流量,而且不會為業務帶來真正的增長。需要事先通過分析轉化渠道來進行自檢,并找到出現問題的所有可能性,并且提出解決問題的假設,在明確假設的前提下展開 AB 測試。當然,案例研究可以為我們帶來靈感,作為新想法的奇妙來源。AB 測試并不是要一直測試全部元素,我們應該構建和實施自己的AB測試策略,策略要基于業務目標和轉化漏斗的“痛點”。112、基于主觀意識的決策?

              誤 區 :UI層面類的方案選擇,主要是找到視覺效果最好的設計,很明顯,漂亮的設計必須更好地執行。丑陋的設計是不可能贏的,所以測試這樣的變化甚至沒有意義。

              真 相 :事實是,不同方案的美丑只是我們自己的評價判斷。一個人認為這種設計更好,另一個人可能會選擇另外一個變量,因為每個人都有自己的審美和視角。這對試驗者可能是難以置信的事情,但我們確實應該根據測試方案的受眾目標,主動測試不同的變化,用數據驅動決策而不是主觀感覺。223、將標簽化的用戶群組進行AB試驗

              誤 區 :根據過往采集到的數據,對意向用戶和非意向用戶打上標簽,將意向用戶分給試驗版本,非意向用戶分給原始版本,然后將試驗結果推廣至全量用戶。

              真 相 :AB 測試能否成功很重要的一點就是流量是否隨機分配,每組用戶是否具有代表性。而這里就要提到一個概念:辛普森悖論。

              舉一個栗子:兩種療法治療腎結石的成功率

              可以看到,無論對于大型結石還是小型結石,A 療法的成功率都是相對高一些的;而將兩種類型的結石一起研究時,B 療法的成功率反而更高。這就是辛普森悖論:即在某個條件下的兩組數據,分別討論時都會滿足某種性質,可是一旦合并考慮,卻可能導致相反的結果。

              所以在 AB 測試中,上述的情況就是分流不均,由于最初把用戶按照某種屬性做了分類,導致最后的試驗結果是有偏差甚至是完全相反的。334、只要平均分配了樣本數量就等于科學分流?

              誤 區 :只要做到了隨機分流,保證了對照組與試驗組流量均分(避免發生辛普森悖論的情況),每個組就是獨立的,試驗結果一定是準確的,不會受到流量因素的干擾。

              真 相 :即使確保了對照組與試驗組的流量是隨機分配的,特殊業務場景下還是會受到流量因素的干擾。比如:在某推薦算法的AB測試場景中,試驗版本中的用戶因為喜歡新版內容而延長了在 App 內的停留時長并且分享了喜歡的內容,而恰好在原始版本中的用戶看到了前者分享的內容同樣也花了更多的時間在 App 中,這就使得原始版本也間接受到了試驗版本的影響。所以在 AB 測試前期設計時,就要考慮到真實業務場景的復雜多變,避免此類問題的發生。445、只要試驗收斂了就可以停止試驗了?

              誤 區 :試驗開始之后不停的觀察數據,當看到置信區間已經收斂,轉化數據看上去還不錯的情況下,就立刻結束了試驗,并且將結果推廣至全量用戶。

              真 相 :在 AB 測試開始之后,我們一定會迫不及待的想要拿到試驗數據,希望自己的猜想得到驗證。大多數的 AB 測試工具會在試驗開始后實時的統計數據的變化。正確的做法是讓 AB 測試運行一定的時間(流量充足的情況話建議至少運行7天),并通過足夠數量的樣本,有了足夠的相關數據,才能指導業務做出更好的決策。556、沒有優勝者的 AB 測試是浪費時間(沒有收斂也是一種結果)

              誤 區 :在某些情況下,我們的試驗并不會很快的出結果,可能需要等上幾周、甚至幾個月。這時試驗者可能就會有這樣的想法:這樣的 AB 測試是沒有價值的,因為根本就沒有可用性結果,還為之付出了相應的人力物力及時間,得不償失。

              真 相 :上述的情況可能有不同的原因。其中一個是流量太小,另一個是試驗設計有問題。在第一種情況下,完成試驗可能需要幾個月甚至更長的時間(例如,每天只有 100 位訪問者),所以短時間內就不會收斂。第二種情況如果流量夠大,但是依然沒有結果,我們就要考慮調整試驗方案,重新開始試驗。

              這里要告訴大家的是,試驗不收斂其實也是一種結果,不要認為在做無意義的事情。經統計在熱云數據 AppAdhoc AB Testing 平臺,沒有收斂的試驗占到了總試驗的 60%,這意味著其實我們好多的猜想是不符合用戶需求的,但如果沒有進行測試,盲目上線認為效果好的版本,也不會對業務帶來正向反饋,效果甚至適得其反。667、直接照搬他人的測試結果

              誤 區 :當我們看到其他人做了 AB 測試后,轉化數提升了 30%,恰好我們有類似的場景,于是就把試驗版本的內容直接套在我們的產品上,希望得到同樣的結果。

              真 相 :要記住沒有任何一次 AB 測試是相同的,對其他產品有用,對我們的產品未必起作用。試驗的運行時間,市場環境,受眾目標等等都是不同的,所以不要盲目使用別人的測試結果,很有可能得不償失。778、A/B 測試由于實施成本高而不使用

              誤 區 :AB 測試是一種非常昂貴的優化方法,因為從數據的收集分析,不同版本上線,分流算法到最后的統計計算,需要產品,技術,設計等部門協同配合。而這其中的分流,一旦出現不均的問題就可能導致我們所有的付出全部白費,從而認為 AB 測試就是一件麻煩事,繼而逃避試驗。

              真 相 :AB 測試不是那么的困難或昂貴。利用AppAdhoc A/B Testing工具,首先確保分流和統計計算的準確性。其次在試驗準備上,利用AppAdoc A/B Testing的Visual Editor(可視化編輯器)功能,也可以實現0代碼基礎快速上線試驗,避免小調整也需要等待開發排期的情況,省時省力,高效迭代。

              試驗驅動增長,盡在AppAdhoc!>>快速試用<<

               

              1154 Views
              即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
              Please wait...

              訂閱我們

              對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
              老卫张敏陈法蓉陈红,蜜桃视频一区二区在线看,亚洲AV无码专区亚洲AV桃花庵

                <address id="3b9n9"><listing id="3b9n9"></listing></address>

                  <form id="3b9n9"></form>

                    <form id="3b9n9"><form id="3b9n9"><nobr id="3b9n9"></nobr></form></form>

                          <address id="3b9n9"></address>