AppAdhoc A/B Testing客戶案例
用A/B測試持續提升產品
公司簡介
招商信諾人壽保險有限公司(簡稱”招商信諾”)是一家以健康醫療險為特色的中外合資壽險公司,中外股東為招商銀行股份有限公司和美國信諾集團旗下的信諾北美人壽保險公司,雙方各控股50%。秉承“誠信百年,一諾千金”的企業精神,招商信諾的業務涵括返還型重疾保險、少兒教育金保險、中老年健康保險、癌癥報銷保險等多種壽險產品,致力成為客戶真正的朋友,愿每位客戶擁有健康幸福的人生。
案例背景
信息流廣告投放是招商信諾獲取用戶線索的重用方式之一,由于在投放過程中會不斷產生獲客成本,因此如何在迭代過程中快速找到促進著陸頁轉化增長的方案,是市場運營部門最關注的優化內容。通過A/B測試,他們可以同時在線運行多個版本,更加高效的找出最優版本。
測試方案
AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。本次試驗,市場運營部門提出假設:在表單中增加一項信息,不僅可以獲取更多用戶線索,同時也不會影響最終轉化。
于是,針對現有著陸頁樣式,設計試驗方案如下:
原始版本:用戶須填寫的表單信息為5項,即性別、年齡、計劃繳費金額、姓名、電話;
試驗版本:增加1項“期望保障年限”信息,用戶須完整填寫6項信息后方可提交表單,其余頁面元素保持不變。
同時,將“立即測報費”的按鈕點擊情況作為本次試驗的核心關注指標。
測試目標
這次試驗的主要目標是,通過對比兩種設計方案的核心指標數據,找到能夠有效提升按鈕轉化率的頁面樣式,驗證市場部門的假設是否成立。
A/B測試數據反饋
考慮到快速優化迭代的需求,本次試驗的運行周期僅為2天(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。通過對試驗數據的對比分析,市場運營部門得到了科學的試驗結論。
-本次試驗共收到6w左右的樣本數據,結果表明試驗版本的保費測算率低于原始版本,樣本數據均值下降了32.33%;
-推測可能的原因在于,試驗版本增加了一項表單內容,提高了用戶提交的成本,同時,原始版本頁面下方的投保優勢內容也因為表單項的增多,下移至首屏以外,用戶需要下滑屏幕才能看到,在一定程度上可能會對用戶行為產生影響;
-因此,市場運營部門決定保留原始版本的頁面和表單內容,從其他角度入手考慮下一步優化方向。