在數據驅動產品企劃實踐路上的挑戰 — 阿福管家

Youga Chang

2021/11/27

撰稿：Youga Chang

IxDA 的朋友大家好嗎？ 2021年很快的再度來到了尾聲，今年我們歷經十年大會，邀請在各領域發光、發熱的講者們，帶來產品不同維度的經驗與啟發，作為筆記手之一的阿佳本人，著實收穫滿滿滿！ε-(´∀｀; )//

這次我們特別邀請阿福管家的產品經理與廣告變現運營 — Amo 與產品、數據團隊成員們，分享以數據驅動決策著名的阿福管家，是如何將數據運用在工作的不同面向，並打造出團隊成員都能依據數據決策的共享文化，以及一路走來所面臨的種種挑戰。

關於阿福管家與團隊的一天

全球擁有超過4000萬用戶的阿福管家 ( Alfred Camera ) ，曾分別於 2016 年與 2019 年獲得 Google Play 年度最創新與最佳生活幫手 App 的獎項。其主要使命在於幫助用戶將舊手機變成唾手可得的監控攝影機，即便位於他鄉皆能時時查看家人、孩子與寵物近況，消除不安與擔心，盡情享受安心生活。

為了逐步踏實邁向願景藍圖，阿福管家著重於打造三點特質以形塑靈活的工作文化：使用者需求中心、追求實證與成長心態。

具體而言，阿福管家團隊每日會頻繁監測用戶回報與使用數據，如 Firebase事件、連線速度、登入成功率、乃至自己紀錄的 log等等以監控穩定性、安全品質，同時作為輔助評估需求與問題的規模依據。

每週，產品團隊會有一天聚在一起分享本週觀測到的現象。他們鼓勵成員針對數據現象勇於提出假設或尋求專業數據團隊的分析洞見，以解析、推敲數據所反應出用戶的行為、困難點以及優化產品的切入點。

接著，針對這些想法，團隊會進而提出解決方案並規劃規劃實驗進行驗證，無論最終驗證結果如何，成員們都能從每一次經驗中獲得啟發與成長，動態調整作法讓下一次變得更好。

案例分享：儲存天數與用戶留存率關聯性實驗

接著 Amo也與我們分享今年初的實際案例，解釋如何透過數據觀察到的洞見建立假設、實驗，最後獲得數據上的成果驗證。

阿福管家的產品服務之中，有一項是為影片的儲存天數。當監視相機捕捉到動靜時會自動攝錄並上傳至雲端儲存以供用戶日後查詢，免費用戶可以儲存7天，若付費升級則可擁有30天的儲存額度。而「付費換取更長天數」的這項服務，可謂是各家監控產品的必備訂閱基本盤。

起源：8成用戶只看當天錄下的影片

在檢測用戶行為時，阿福管家發現8成的用戶只看當天錄下的影片，即便是付費用戶，也僅有5%用戶查看10天以上的影片。然而，儲存成本卻佔了公司成本結構的一大部分。

問題：付出的儲存成本是否其實並未創造對應價值？

在新創公司中，確保付出成本真正創造對應價值是持續營運的關鍵之一。然而，付費換取更長天數服務作為各家監控產品的基本銷售組合，從數據的反應卻讓團隊開始產生質疑這項服務的合理與必要性，因而開啟了這次實驗。

假設與驗證：提出假設並將進行新 / 舊用戶分組進行批次實驗，以降低風險

假設一：如果大家幾乎不看存這麼多天的影片，那縮短儲存時間會減損用戶使用意願嗎？

實驗：免費新用戶儲存天數A/B測試 — 1天 vs. 7天
主要指標：訂閱總轉換率、單一入口轉換率
風險指標：留存率、用戶回報/評論、廣告營收

→ 結果：減少天數與留存無顯著差異，用戶不會生氣不用也不會因此訂閱

假設二：有一部分人還是會看幾天以上的影片，那更長儲存時間能拉動這些用戶去訂閱嗎？

實驗：付費方案儲存天數A/B測試 — 14天 vs. 30天
主要指標：訂閱總轉換率、儲存成本
風險指標：留存率、訂閱留存率

→ 結果：升級用戶人均儲存成本 — 25%+且訂閱率、訂閱留存均無負面影響，長期追蹤觀察結果不變

從這項實驗中，成功的驗證數據在產品中帶來的不僅限於體驗面，更包含運營層面的價值。然而，看似順遂的實驗背後，其實歷經基礎建設、數據收集與追蹤效應的種種難關。

實踐過程的那些眉眉角角

Amo 與團隊們也與我們娓娓道來，想要利用數據驅動產品優化並非想像中容易，可以說不順利才是團隊的日常，過程當中有需多眉眉角角：

1. 核心需求出發，保持指標簡單、容易實作和維護

設計一組完美指標看似迷人，反而易使時間拖長，產生的新問題比解決的問題多。因此必須時時提醒自己圍繞核心需求確保 Scope簡潔可執行與維護。

2. 數據未必能說明原因，推論解法或假設時，質量化資料應相互輔助。

以降噪演算法優化案例而言，數據雖顯示錄影用量高，推測是環境雜訊太多因而優化演算法，但上線後卻未改善，進而反思應搭配質化研究理解原因。

3. 確保數據收集機制穩定一致，注意週期變化，不要自己嚇自己

過去曾遇到自訂服務指標「偽良性」，指標雖顯示品質變好但實際變糟，起因是功能更新而至指標誤判。因此無論指標變得好壞，都需探究原因。

4.數據變化由許多元素和時間構成，需仰賴長期追蹤

實驗的結論並非鐵則，可能隨時間和用戶組成改變而推翻。因此一開始好或不好的結果後續都可能隨時改變，數據的觀察不能太快停止。

如何打造數據驅動產品企劃的工作環境

分享的尾聲，Amo 告訴我們阿福管家是如何一步步打造出數據驅動產品的工作文化，主要分為四個重點面向：Mind Set, Know How, Infrastructure & Easy Access。

阿福管家的挑戰和實踐史

其中特別針對 Infrastructure 和 Easy Access 兩項層面與我們分享，阿福管家在初期導入數據工具或文化時在每個階段所面臨的不同挑戰。

從初期針對單一問題提出對應解答，接著訂定自動化常規指標產製BI報表後，數據驅動漸漸內化成為公司本能，近一步引進第三方工具以協助資料倉儲與可視化，未來更以完整呈現用戶各面向作為目標，幫助產品創造更多創新與突破。

Q & A

最後，我們也十分榮幸地邀請到阿福管家的 Product Lead — Summer 和數據分析師 Yoyo、Ko 進行Q&A環節，在這邊也為大家精選幾題精彩問答：

【Q1】如果被用戶發現並反映A/B 測試對他們的權益有所影響，會用何種方式解決？

A: 我們通常不會把具有明顯損害的方案用以A/B測試對照，並且會依據測試目標在搜集到足夠用戶後立即停止實驗。如果仍然無法避免造成用戶的影響，會坦誠地與用戶說明。

【Q2】如何制定與定義健康指標？多久更換？更換依據又是為何？

A: 我們將指標定義為三層次：北極星指標、常規指標與任務指標。其中北極星與常規指標幾乎完全不會改變，而任務指標則是依據該季度欲達成的目標進行動態調整。

【Q3】如何讓團隊從上到下接收並相信 data driven 的文化？

A: 初期導入時必須培養大家一個重要的觀念：接受不順利才是日常，實驗的過程必然會遇到失敗，但這份失敗僅是局部定義的失敗，不論結果好與壞皆是一份經驗與收穫。
此外，培養成員質疑任何事情的權利與能力，不要覺得別人這麼做我們也必須如此，我們所想的並非答案，唯有用戶的行為才能反映真實情境。
接著，將數據分析納入工作日常，作為拆解問題的憑據，很快地大家就能有感，拍腦袋時常會踩坑，若有數據的輔助，有些事情我們甚至可以早期便知道。

【Q4】如何了解國外市場和消費者狀態？

A: 除了從日常的產品數據依據不同國家分類監測、當地經濟狀況相關數據外，也包含固定的問卷、訪談等質量化研究。此外也會搜集用戶自Play sotre 上的留言，透過留言可以推測該國用戶的習慣與在意的內容，甚至是應用的情境。

【Q5】如何進行 A/B testing？對象如何挑選，以及避免多個 testing 進行時產生的衝突？

A: 我們會自根本上的將受測者拆分，舉例而言若同時有兩項A/B testing 正在進行，就會拆為四組受測，視為大型的A/B testing 進行實驗，並一同觀測交互影響性。
此外，在實驗日常中時常會遇到受測數量不足的問題，這時通常會與PM討論，延長測試時間搜集資料以獲得足夠洞見。

【Q6】功能優先排序方法，以及計算指標？

A: 我們過去曾採用RICE ( Reach / Impact / Confidence / Effort)作為優先級排序的相關依據，但在這裡值得提醒的是，不要忽略目標導向的本質。

與阿福管家團隊們線上合影

結語

打造數據驅動的產品並非一朝一夕便能成就，除了實體面需要逐步確立基礎建設 — 引入工具、訂定指標、乃至產品有目的性的進行埋點之外，更包含精神面打造團隊成員相信數據驅動的工作文化。

在這次分享之中，最令人印象深刻地莫過於團隊成員的每個人，在面對數據時皆能夠清楚並理解手上的數字該如何運用與轉化，甚至是透過實驗操作與觀測數據以獲得想知道的答案。

最後的最後，偷偷告訴各位，阿福管家正在熱烈招募中，有興趣的朋友走過路過千萬不要錯過！(｡･ω･｡)ﾉ我們下次見！

Alfred Systems Inc. 阿福管家 is now hiring, Apply now!
上架至今， AlfredCamera 已經在 Android/iOS 雙平台上獲得超過65萬筆、平均 4.8 顆星的高評價。短短數年內 AlfredCamera 已經達到正向現金流，在已實證的商業模式下穩健發展，並持續投入 AI 研發。
詳情請上 alfred.teamdoor.io

✨ 感謝各位觀看本次記錄 IxDA Taiwan 的活動記錄與感想文章。若您喜歡本篇文章的內容，請您也給我們鼓掌👏👏👏與關注作爲鼓勵；若您發現本篇內容有些錯誤，也請您不吝給予我們指教🙏。

更多精彩的活動照片，請參考 IxDA Taiwan 粉絲專頁：http://bit.ly/2XJ23M0

感謝各位的閱讀，我們下次再見！👋

Credit

撰稿者：Youga Chang 張鈺佳 / yougachang@ixda.org.tw

攝影：阿葉、Max Chen、De Jiun Lee

✍ 看更多精彩的講者專訪：（依發布時間排序）

▶ 吳雨涵 Yu-Han Wu / 阿里巴巴 Alibaba 高級體驗設計師 Senior User Experience Designer

▶ 陳昱璋 Alix Chen / 工業技術研究院 ITRI Design Lead 設計經理

▶ 楊宗憲 Sam Yang / 克斯安森管理顧問有限公司總監

▶ 陳潔如 Sabrina Chen / 若水國際/Flow, Inc CEO

▶ 唐玄輝 Hsien-Hui Tang / 台灣科技大學設計系教授