AppAdhoc A/B Testing客戶案例
用A/B測試持續提升產品
公司簡介
新東方教育科技集團,由1993年11月16日成立的北京新東方學校發展壯大而來,目前集團以語言培訓為核心,擁有短期培訓系統、基礎教育系統、文化傳播系統、科技產業系統、咨詢服務系統等多個發展平臺,是一家集教育培訓、教育產品研發、教育服務等于一體的大型綜合性教育科技集團。2006年9月7日,新東方教育科技集團在美國紐約證券交易所成功上市,成為中國大陸首家海外上市的教育培訓機構。
案例背景
作為教育行業的領導企業,新東方的網絡營銷部門在渠道做推廣時,已經打破傳統固有的業務模式,運用增長黑客的思維方式去觀察不同版本落地頁在某一渠道的效果。這一次,他們希望在CATTI課程的推廣過程中,在同一渠道投放2個不同的落地頁版本,將用戶最關切的課程信息調整到更醒目的位置,希望這個調整能帶來更好的轉化。
?
測試方案
AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。
針對這次的CATTI課程推廣頁面,網絡營銷部門設計試驗方案如下:
原始版本:推廣頁第三屏展示內容為“口譯課程介紹”;
試驗版本:將“各類課程介紹”提前至第三屏,原有“口譯課程介紹”相應后移,其余頁面元素保持不變。
同時,將各類課程的CTA轉化設置為本次試驗的核心優化指標。
測試目標
本次試驗的主要目的是對比調整展示順序后的CATTI推廣頁面,是否可以增加不同課程的報名轉化,并以此結果作為優化迭代的依據。
A/B測試數據反饋
此次試驗Web端進行,運行周期為2周(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。在對試驗數據進一步分析后,新東方的網絡營銷部門得到了科學可信的數據結果。
-試驗版本勝出,本次日均樣本量達到1000人次,其中試驗版本在各類課程的報名轉化數據上都有不同程度的提升,最高增長幅度達到16%(最低也有7%)
-綜合評估后,為了達到更好的效果,營銷部門決定針對此頁面做更多的優化和用戶研究,下次改版頁面的第三屏將采用此次試驗版本方案。