在從事使用者經驗研究時,經常會透過質化與量化測試來檢視使用者真實使用產品的行為、認知及感受;而 A/B Testing 是常用於網路服務的量化測試,透過小範圍的測試,依照真實使用者的行為數據,來作為優化服務的依據。面對 A/B Testing,以下將從過去的一些實務經驗,整理出 A/B Testing 三大心法,分別為:清楚設定測試內容、讓數據自己說話和持續傾聽使用者的聲音,提供大家日後修煉之用。

你不能不知道的 AB Testing 三大心法

心法 1:清楚設定測試內容

愈能清楚界定測試,愈能在測試結束後對症下藥。清楚的設定測試內容包括需要預先設定測試目的、研究問題、測試組別、測試對象、測試素材(刺激物)、測試項目,舉例來說:

  • 測試目的:為了找到頁面上最吸引使用者點擊的按鈕樣式
  • 研究問題:按鈕顏色會影響使用者對於按鈕的點擊次數嗎?
  • 測試組別:實驗組(有改變的版本)和對照組(原本的版本)
  • 測試對象:平常會來光顧本網站的使用者
  • 測試素材(刺激物):A 組白色按鈕,B 組藍色按鈕

測試素材

  • 測試項目:按鈕的點擊數

 

這裡是列舉基本的測試設計,實際的狀況應該要視需求而增減,其實測試有很多種類(有興趣了解更多測試類型,請點:The Anatomy Of An A/B Test),最簡單的方式是改變單一元素,分成實驗組和對照組,用來比較改變的單一元素是否影響使用者的行為。改變的元素可能是介面元素的顏色、大小、位置、邊框粗細的改變等等,改變愈簡單,愈能知道改變的元素是否影響使用者,而不是其他複雜的因素影響使用者,以下面的例子來解釋:

測試設計範例 1

測試設計範例 1:A 和 B 版本的測試變因只有一個:「按鈕顏色改變」,測試結果可以清楚得知數據差異是因為按鈕顏色的不同所導致。

測試設計範例 2

測試設計範例 2:A 和 B 版本的測試變因有多個,包括:按鈕位置、按鈕大小、按鈕顏色的改變,測試結果較難分辨使用者行為的改變是因為「按鈕位置」、「按鈕大小」、「按鈕顏色」所造成的。

心法 2:讓數據自己說話

如何從 A/B Testing 結果中解讀並找出有意義的數據,這個問題要分為兩個部分思考,第一個部分是測試結果是否回答研究問題,第二個部分是呈現數據的方式是否夠清楚。測試報告需要能透過簡單清楚的文字或是圖表呈現想要表達的重點(愈簡單愈好!),以方便其他利益關係人理解現有服務的問題,並且共同思考問題的解決方式。以下提供簡單的數據圖表及文字敘述範例(這裡的範例只是提供參考,必要的圖表細節還是需要依需求在圖表中說明清楚 ):

讓數據自己說話

心法 3:持續傾聽使用者的聲音

執行 A/B Testing 時,需要對於使用者有所了解(當然還有對於測試產品和產業有足夠的認知),面對測試數據時,才能更加有效解讀,並且將數據有效應用。常發生這樣的狀況:看到測試數據時,B 組數字比較高,但是不清楚為什麼會有這樣的結果。可能很大的原因是對於使用者不夠認識,應該要立刻反問自己是什麼樣的原因會讓使用者有這樣的行為?此外,也需要了解過去相關的測試記錄、請教公司同事,還有詢問真實使用者的實際使用狀況等等,找出我們不清楚的地方,協助了解使用者在想些什麼。

結語

最初接觸 A/B Testing 尋找使用者的行為足跡時,就像是聽到一種新的語言:在測試過程中不斷檢視使用者的測試數據,盡量同理使用者與其所處環境,最後嘗試解讀使用者的行為語言,並且將結果傳達給產品相關開發者,以上種種過程,都需要掌握「清楚設定測試內容」、「讓數據自己說話」和「持續傾聽使用者的聲音」的概念。其實在整個使用者經驗研究中,同樣也要留意上述概念,這些乍看之下都是一些使用者經驗研究者的日常工作內容,但是若持續輕忽其中任一部分,造成數據解讀錯誤、產品設計的方向偏離,最後導致使用者離你而去,到時候可是會代誌大條的!

作者:Joyce

推薦閱讀:

 
歡迎透過電子郵件訂閱痞客邦 UX 實驗室,部落格會在每週一中午更新喔!


點擊訂閱後請至信箱收信,並確認訂閱完成。技術提供Feedio
arrow
arrow

    痞客邦 UX 發表在 痞客邦 留言(0) 人氣()