AppAdhoc A/B Testing客戶案例
用A/B測試持續提升產品
公司簡介
嗨住是集租前、租中以及租后為一體的專業鏈條式租房服務平臺,致力于為年輕用戶解決“租房子,找室友,付房租”的問題。通過企業內部強大的團隊資源,產品房源信息覆蓋所有職業房東,同時,全網數據實時抓取覆蓋所有個人房源,保證房源的多樣性。對于每套房源,嗨住都會進行實地勘察比對,支持實時語音搜索監控、一鍵舉報,保證嗨住租房平臺房源可租信息實時可靠。用戶可在產品平臺或應用內租賃和支付,無需支付任何中介費用。此外,嗨住還為用戶提供了“直呼房東”、“免費預約”和“租后服務”等服務類型,讓用戶更省時、更省錢、更省心、更簡單的享受租房帶來的樂趣。
案例背景
嗨住的產品部門在首次試驗(優化搜索房源的展示方式)獲得顯著優化結果后,決定再次嘗試優化應用內其他元素。目前,應用內首頁推薦房源的算法是根據距離遠近來推薦的,產品部門希望驗證這個算法是否是最適合的方式,如果不是,則希望能找到更能激發用戶點擊瀏覽的推薦算法。因此,產品部門決定再次通過A/B測試的方式,找到首頁推薦房源的最佳算法。
?
測試方案
AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。
產品部門設計兩種推薦算法如下:
原始版本:根據用戶當前位置,按房源距離遠近排列推薦;
試驗版本:用戶將看到依據新建立算法展示的房源(并非單純按遠近排序),頁面其余元素保持不變。
同時,將用戶點擊查看房源詳情的總點擊數設置為此次試驗的主要優化指標。
測試目標
本次試驗的主要目標是,通過對比分析兩種不同的房源推薦算法,找到更有利于用戶進一步了解房源詳情的算法,從而優化產品。
A/B測試數據反饋
此次試驗在嗨住的iOS端進行,累計運行了近2周的時間(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。在對試驗數據進一步分析后,產品部門得到了科學可信的數據結果。
-原始版本(按距離推薦)獲勝,更多在原始版本中的用戶點擊進入房源詳情,相比試驗版本有60%的巨大正向差距;
-試驗結果表明,房源的距離遠近還是用戶判斷的第一要素,故產品部門將保留原有按距離推薦的房源算法。