AppAdhoc A/B Testing客戶案例
用A/B測試持續提升產品
公司簡介
《追書神器》是國內首款專注網絡連載文章的應用,旨在讓用戶以最便捷的方式瀏覽到文章的最新章節。產品以百萬級的小說收錄為基礎,在實現海量小說更新與作者云同步的同時,還結合真實的測評數據,為不同的用戶群體提供個性化的小說榜單和各類主題書單,一站式滿足差異化的閱讀需求,真正解決用戶閱讀的“書荒”痛點。此外,追書神器還擁有多元化的社區交流討論區,建立起作者與用戶、用戶與用戶之間的粘性和社交紐帶。作為一款專注開發免費閱讀小說的移動閱讀類APP軟件,追書神器自2012年上線以來,經過4年運營,用戶已超過6000萬,日活超過800萬。憑借強大的產品功能、社區日活系數、用戶的高口碑及留存率,追書神器獲得MAIC2016年度最具成長性移動閱讀類應用。
案例背景
用戶付費的轉化率是追書最核心的業務指標之一,所以追書對產品優化的一切改進都會圍繞“收入”這個指標來進行。對于像追書神器這樣每日活躍用戶數過百萬的產品,每一次迭代都需非常謹慎,因此產品部門非常認可和重視通過小流量驗證版本效果的A/B測試,希望借助試驗實現穩定迭代,在保證用戶良好體驗的前提下,進一步提高產品核心轉化率。
目前的章節解鎖頁面,“開通包月”和“購買章節”的按鈕權重不一,產品部門提出假設:如果改變兩個按鈕的順序和權重,應該可以有效提升用戶開通包月的轉化率。
測試方案
AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。
針對現有章節解鎖頁面的按鈕布局,產品部門設計試驗方案如下:
原始版本:在引導用戶購買行為時,“購買章節”的引導權重大于“開通包月”;
試驗版本:與原始版本相反,提高“開通包月”的引導權重,將“開通包月”的按鈕置于“購買章節”按鈕上方。
此外,當用戶點擊“開通包月”按鈕后,購買流程保持不變(具體如下)。
本次試驗的核心優化指標是“開通包月”按鈕的點擊情況,同時設置包月支付頁面展示次數、支付頁面按鈕點擊、包月開通成功情況為次要優化指標。
測試目標
這次試驗的主要目標是,對比兩種權重下的“開通包月”按鈕轉化率,以及對后續付費流程的影響情況,從而驗證該方案是否有助于促進用戶成功購買包月產品。
A/B測試數據反饋
本次試驗安卓端進行,考慮到只是交互布局上的調整,因此兩個版本各分配了50%的流量,運行周期為15天(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。通過對試驗數據的對比分析,產品部門得到了效果明確的科學試驗結論。
-試驗版本以絕對優勢勝出,本次試驗核心關注指標是“包月付費按鈕點擊數”和“包月開通成功次數”,試驗數據很明顯的反映出試驗版本對關鍵指標的影響是遠遠大于原始版本的,且提升的幅度均在5倍以上;
-追書神器是日活高達百萬級別的應用,本次試驗的提升幅度對產品來說是個不小的提升,極大的提高了核心業務轉化率,因此產品部門立即將試驗版本調至全量用戶,進一步實現了業務的優化增長。