非常幸運地,今年有機會參加西南偏南 (South by Southwest, SXSW)——一個以音樂慶典、互動媒體及電影為主題,聞名世界的大型盛會。我參加的是互動媒體 (Interactive) 的活動,主題包含:設計、程式開發、智慧未來、科技產業、品牌行銷、政府、健康、風格及工作場所等九項,演講 (sessions) 舉辦的時間大致從每天的 9:30 AM 到 6:00 PM,玲瑯滿目、五花八門,舉辦地點還座落在整個市中心的幾十個地方,簡直要逼瘋有選擇困難的人。總之,我大致上都參加「設計」主題相關的演講;而最令我印象深刻的,是「排隊排到昏天黑地仍不得其門而入因為主講人好心加場才聽到」的 Design like a Scientist: A/B Testing UX at Netflix

西南偏南 SXSW 直擊:Netflix 的 A/B Testing

A/B Testing 是種瞭解使用者行為的常見方法,我們團隊的 Joyce 也在部落格上分享過 A/B Testing 的三大心法,故本文將摘錄 SXSW 活動中,Netflix 的 Navin Iyengar, Product Designer 在 A/B Testing UX 上的分享重點。

如同科學家般設計

為什麼演講標題說「如同科學家般設計」?首先,科學是什麼?科學是種系統性、可靠的資訊;之所以說系統性、可靠,是因為研究時經歷過:假設、實驗、結論等步驟,不斷驗證。而設計上常見的研究法,比方:調查法、深度訪談、觀察數據趨勢或 A/B Testing 等等,也多半可以用科學的研究步驟來進行。A/B Testing 就像是讓使用者透過行為來說話,用行為表示出他們對於這個產品/服務/設計喜歡與否。

A/B Testing 上,我們通常會有實驗組與控制組(也稱對照組);控制組是原先的版本,實驗組是你想嘗試的改變,這個改變就是你的「假設」。有了假設,根據假設設計「實驗」、收集資料;然後我們會開始解釋這些資料,越合理越好。這些解釋到最後會有個「結論」,決定這個假設是否為我們希望的結果。整個流程不斷重複驗證,就是一系列的實驗,最終能導向更具說服力的設計。

Netflix 的 A/B Testing 四步驟

Navin Iyengar 分享 Netflix 做 A/B Testing 的四步驟,以下列出並分點說明:

  1. 在投入資源前先測試
  2. 數據是你的指南針
  3. 往極端設計
  4. 觀察人們所為,而非他們所說

 

1. 在投入資源前先測試
Navin Iyengar 提到:「⋯⋯設計要能影響人,必須要先被執行、建立,然後推到全世界;所以不只是你說了算,還要測試、證明這些想法值得建立。當你有個想法,要去想說:核心是什麼?然後你怎麼測試?」

六年前的 Netflix 首頁並不漂亮;後來在 2014 年設計了新首頁並置換,但也只換了這頁。數據上顯示流量變高,使用者的停留時間變長,於是團隊就決定將全站的頁面都更換。

反思:該如何測試你的想法?

2. 數據是你的指南針
有了核心想法,也就是你有假設後,要找出可以幫你判斷出假設是對或錯的數據。假設目標是「增加人們的滿意度」,人們總共在 app 上花的時間、人們多常造訪、他們採取多少行動……這些都是判斷滿意度增加與否的有效方法;但參考什麼數據,決定了後續的設計方向是什麼。

Netflix 推出新劇的頁面,就根據使用者的身份而關注不同數據,最後導向不同設計。會員不容易因為一個頁面改變而取消訂閱;所以會員看到的新劇頁面充滿了該劇資訊,即使不想看也有其他影片可選。至於對非會員,獲取 (acquisition) 數據就更重要,會希望他們免費體驗,然後轉成付費會員;所以非會員只會看到新劇,希望他們有興趣就趕快註冊。

反思:什麼是你已掌握的數據?

3. 往極端設計
你有了假設,有了數據,要進行最有趣的部分了:設計變因!一旦要測試,把變因設計得越極端越好,因為這樣可以幫助你探索所有可能的問題。Netflix 在 2014 開始設想:如果未來 Netflix 要更往串流走,人們在筆電上該看到什麼?不過這概念還太抽象、高層次,於是他們劃了個直角座標系來幫助思考。

西南偏南 SXSW 直擊:Netflix 的 A/B Testing

X 軸上的兩端是主動與被動,Y 軸上的兩端是劃一與區別。主動是指可以看到很多內容擠在一起,讓使用者擁有很多選擇;被動則是指內容沒有太多選擇,直接推送使用者可能喜歡的幾項。劃一是指畫面上呈現的每個選項都在差不多的層級;區別是指有些選項更為顯而易見、更為推薦,選項呈現不同層級。

總之,他們在這種極端探索的思考模式下,摸索出最終的設計方向,才進入 A/B Testing。

反思:哪些是你可做到的極端?

4. 觀察人們所為,而非他們所說
Netflix 做的某次問卷中,某題問到:在 Netflix 上註冊前,你最想要知道更多的一件事是什麼?(What one thing would you like to know more about before signing up for Netflix?) 結果有 46% 的人選了「所有可看的電影與電視劇」 (All movies & TV shows available)。於是他們開始做 A/B Testing,原版為控制組,新版 prototype(有各種電影電視劇資訊的)為實驗組。

實驗組輸了整整五輪。

西南偏南 SXSW 直擊:Netflix 的 A/B Testing

雖然大家說他們要的是內容,但其實太多內容使人分心;真正說服非會員去註冊的不是滿滿的內容,而是免費試用時的體驗。你可以在試用時體會到:上面內容有哪些、隨時收看的感覺、在不同平台收看的感覺、體驗串流有多快……等等。

反思:你觀察到哪些行為?

Q & A

兩則有意思的 Q & A 分享如下:

Q: 這麼頻繁地做測試,是否會影響到你們現有的會員?
A: 我們專注在測試新會員,因為他們比較不清楚這服務是在幹嘛的,所以比較不會影響現有的會員。

Q: 要多久才知道這次的測試是否失敗?(譯註:失敗指的是不符合原先的假設)
A: 我們的會員訂閱是以月為單位,所以測試至少要等一個月再決定。


其實這場演講我差點聽不到。Netflix 的 A/B Testing 實作實在太有名,原先的早場我早到了 38 分鐘排進隊伍,都排到快進門了說客滿下次請早;還好真的有下次。設計主題的演講很常爆滿,早點排隊是上策,也要記得排一些備案,否則就會跟我一樣各種向隅,排不進想參加的演講整整三次。感謝所有把文章看到這裡的朋友,為了感謝您看到這裡,下次再分享一篇 SXSW 大雜燴感想作為感恩回饋,如果還有下次的話。(逃~)


作者:菲力普

推薦閱讀:

 

歡迎透過電子郵件訂閱痞客邦 UX 實驗室,部落格會在每週一中午更新喔!


點擊訂閱後請至信箱收信,並確認訂閱完成。技術提供Feedio

 

文章標籤
創作者介紹

UX 實驗室

痞客邦 UX 發表在 痞客邦 PIXNET 留言(0) 人氣()