Table of Contents
筆者在之前的一篇文章提到，A/B Test其實就是用來驗證假設的工具。當你構思到一個可能提高廣告效益的假設時，A/B Test就能夠科學化地幫你驗證假設的實際影響。
不過，如果A/B Test的結果並不準確的話，我們反而會誤信不正確的實驗結果，然後在將來浪費更多的金錢於效益較低的廣告設定，得不償失。
因此，我們學會如何設定A/B Test之餘，亦必須謹記以下的要點來確保A/B Test能夠給予準確的結果。
要點1：測試變數
如果同一組A/B Test有兩個或以上的變數，即使其中一個版本的廣告或廣告組合跑出，都很難總結是因為哪一個因素影響。因此，每一組A/B Test都只改變一個變數，才是合理的做法。
具體一點來說，例如你設定了一個A/B Test，而兩個版本都有不同的廣告文案（變數A）和不同的投放觀眾（變數B），即使其中一個版本的廣告跑出，我們亦不能夠總結到底是變數A或是變數B導致實驗出現這樣的結果。
如果你想同時測試兩個或以上的變數，則應該使用多變量測試（Multivariate Test）。
簡單來說，例如你希望測試變數A和變數B，而每個變數都有兩個版本的廣告，那麼整個實驗則需要4則廣告：A1 + B1，A2 + B1，A1 + B2，A2 + B2。
這樣，你便可以比較每個變數較為成功的版本，總結出每個變數應該使用什麼版本的廣告。
不過Multivariate Test其實需要較大的流量和廣告費，才可以總結出有意義的結果。如果你的單日經費還沒達到三位數美金的水平，一般都不適合使用Multivariate Test來測試廣告。
要點2：測試期限
從實驗的角度出發，A/B Test如果能夠擁有更長的測試期限，測試中採集到的數據亦會更多，實驗的結果亦較難被個別日子的偏差而影響，相比期限較短的實驗會更準確。
雖然較長的A/B Test會有較準確的結果，但如果真的不能夠耐心等待A/B Test的成果，無論如何都應該保持最少7天的實驗限期。
7天的實驗長度，正正可以讓消費者一週內行為的轉變都納入測試的範圍當中。
例如標題A在週末比標題B會更加吸引觀眾的話，如果你的A/B Test的長度少於7天，就有可能造成抽樣偏差，令到一週內個別日子會造好的廣告版本得不到公平的抽樣機會。
另外，揀選測試的日期時，亦最好避免會大幅影響廣告表現的時節。例如一些會明顯影響銷量的節日（聖誕節/Cyber Monday）等，都會添加不必要的變數進去實驗當中。因此如果能夠選擇的話，應該盡量挑選一些沒有節日影響的日子進行測試。
要點3：測試預算
除了拉長實驗來增加A/B Test的樣本大小外，提高廣告預算亦是另一個改善實驗準確度的辦法。
當你在Facebook中設定A/B Test中各廣告組合的預算時，Facebook Ad Manager的界面會顯示實驗的“測試檢定力估計值”（Estimated Test Power）。簡單而言，那個數值表示了如果不同的廣告組合版本真的會導致不同的廣告表現，你有多大機會能夠發現廣告表現的不同。而根據Facebook的建議，每個廣告組合都應該有超過80%的“測試檢定力估計值”。
因此，設定廣告預算時，記得要留意Facebook的建議！
要點4：Common Sense
最後一個很重要的建議，就是設定A/B Test之前，記得要用Common Sense來判斷到底自己是否真的需要一個A/B Test。
很多A/B Test的結果，其實用常理都能夠準確推測。
例如，99.99%的情況下，一張高清的廣告圖片都會比一張低清的廣告圖片更加吸引觀眾（除非一張朦朧的圖片與廣告本身推銷的信息有關）。
另一邊廂，我們亦需要Common Sense來確保A/B Test的假設有意義。
例如，如果我們利用A/B Test來找出影片背景顏色對廣告效益的影響，卻只比較深灰色與黑色背景的版本，其實即使其中一個版本輕微勝出，我們亦不能夠獲得任何有意義的總結（e.g. 冷色系表現較佳？淺色背景表現較佳？）。
因此，Common Sense在設定A/B Test時，是十分重要的工具。
Sparka Digital是位於香港的Digital Marketing Agency，提供廣告製作，廣告投放，社交媒體營銷，及網頁開發服務。如果你希望提升產品/服務銷量，或者遇到Digital Marketing的問題，歡迎找我們來聊聊！