A/B測試：驅動數字創新的隱形力量

鄒騰劍 孫旭航 熊霏

“早試錯，常試錯，敢試錯”（Fail early， fail often， fail forward）這一箴言，被硅谷的許多科技公司奉為圭臬。面對外部環境的不確定性，以A/B測試為代表的全新產品迭代策略的涌現，讓企業能夠大膽創新、頻繁試錯。然而，這種鼓勵快速測試新想法和新思路的策略是否真的有助于企業的成功？為了回應這一質疑，科寧（Koning）等學者對2008年至2013年間成立的全球35262家高科技初創企業展開追蹤研究。結果顯示，雖然采用A/B測試的企業相對較少，但相比于其他未采用A/ B測試的企業，他們的表現更為出色：平均每周網站訪問量提升約10%，獲得風險資本融資的概率增加5%，推出新產品的比率提高9%至18%。A/B測試猶如李白詩中“深藏功與名”的俠客，默默無聞地推動著企業的數字創新，對數字經濟發展的重要意義不容小覷。

為深入理解A/B測試及其作用，本文首先介紹A/B測試的內涵、起源、發展現狀和行業應用，然后闡述A/B測試的理論基礎和作用機制，最后分析A/B測試可能帶來的負面影響，并提出管理者駕馭A/B測試的有效策略。

A/B測試的內涵

A/B測試是一種以隨機對照實驗為底層邏輯、以數據驅動為核心思想的數字技術，它將用戶隨機分配至兩個或兩個以上版本的數字產品、服務、設計或策略等數字方案中，最終通過對比實驗結果來評估確定最優方案。例如，華為App Gallery Connect（AGC）服務提供A/B測試功能，幫助應用開發者基于用戶群體創建多個對比實驗（見圖1）。通過這些實驗，開發者可以獲得關鍵對比數據，從而選擇最符合用戶需求的應用界面、產品功能或營銷方案。

在數字時代，A/B測試是一種快速、高效且低成本的決策工具。A/B測試的底層邏輯是隨機對照實驗，它將用戶隨機分配到實驗組和對照組，通過實驗來測試預先提出的假設，從而明確因果關系?；诖?，實驗者可以了解哪些因素能提升產品績效，哪些因素會降低產品績效，從而有針對性地對產品進行優化。此外，A/B測試也是一種大數據驅動的數字技術，企業可以通過A/B測試收集大量用戶數據進行分析，據此得出可靠結論?？傊?，A/B測試的實驗邏輯和大數據特性不僅加快了企業在數字創新過程中的決策速度，也提升了決策精準度，使之成為驅動企業數字創新的隱形力量。

A/B測試的起源及發展現狀

A/B測試最早起源于醫學領域的隨機對照雙盲實驗。在大航海時代，船員因長途跋涉而飽受壞血病的困擾。為了尋找有效的治療方式，1747年，英國皇家海軍軍醫詹姆斯·林德做了人類歷史上第一個隨機對照實驗：他先將12位生病的船員分成6組，讓他們分別食用不同的輔食配方（見圖2），食用橘子和檸檬的那一組船員最終康復。由于時代的局限性，林德當時沒能發現橘子和檸檬中含有的維生素C可以治療壞血病，但他的實驗標志著檢驗藥物有效性的方法從蒙昧走向科學，對人類戰勝壞血病具有里程碑意義。A/B測試在醫學領域的應用不僅改變了人們對壞血病的認知，也為現代醫學研究奠定了科學的基礎，為更多患者帶來了福音。

林德的隨機對照實驗點燃的科學之光照亮了醫學、工程學和社會科學等多個領域探索嚴謹因果關系的道路。隨著互聯網行業的崛起，林德的實驗思想跨越時空與數字技術相逢，為互聯網行業的數字創新帶來了數據和實驗驅動的全新思路。經典的林德實驗在互聯網時代重新煥發生機，獲得了一個時髦的名字：A/B測試。

谷歌是互聯網行業公認的A/B測試先驅。2000年，谷歌的工程師開展了互聯網領域的首個A/B測試，用于評估搜索結果首頁返回多少項搜索結果更合適。雖然這次測試因為搜索結果加載速度過慢失敗了，但谷歌從此成為了A/B測試的忠實擁護者——僅2011年一年，谷歌就進行了七千多次A/B測試來幫助優化產品功能?，F在，谷歌每月都會上線幾百個大大小小的A/B測試，這些實驗每年直接給公司帶來超過10億美元的增收，充分彰顯了互聯網公司“數據驅動決策”的發展理念。

谷歌的大獲成功，點燃了各大互聯網公司應用A/B測試的熱情。每年有數以萬計的A/B測試被谷歌、亞馬遜、易貝（eBay）、臉書（Facebook）等先行者廣泛應用于數字產品迭代、用戶體驗改進、算法優化、廣告投放等方方面面，A/B測試的應用與推廣已呈燎原之勢。

與發達國家相比，A/B測試的思想和實踐在我國市場扎根較晚，這與市場的發展階段息息相關。在早期的“爆發增長”階段，我國互聯網市場擁有巨大的紅利空間，用戶群體迅速增長，互聯網滲透率逐年提高，大多數互聯網公司不需要實施復雜的數字實驗就能快速獲得大量用戶。在這樣的市場環境下，企業更傾向于迅速推出產品或服務，占據市場先機。然而，隨著市場逐漸飽和，競爭日趨白熱化，用戶獲取成本上升，早期輕易就能獲得的市場紅利開始消失。為了在激烈的市場競爭中脫穎而出，企業必須具備高技術壁壘和強大的效率優勢，這就要求經營者們精益求精，在數字實驗中探索和捕捉機會，實現持續創新和增長。

隨著數字技術的蓬勃發展，國內一些企業開始意識到數字實驗驅動創新的重要性，嘗試從“野蠻生長”轉向“精耕細作”。近年來，以字節跳動、百度、阿里巴巴、騰訊為代表的中國本土互聯網公司開啟了A/B測試的“西學東漸”之路。其中，作為互聯網領域的佼佼者，字節跳動可以說是A/B測試的“頭號粉絲”。早在2012年成立之初，字節跳動就在內部使用A/B測試，其旗下著名短視頻平臺“抖音”的名字，正是經過A/B測試和人為判斷綜合考量的結果?！蔼殬窐凡蝗绫姌窐贰?，歷經十年打磨，字節跳動已成功將A/B測試產品化和商業化，并通過旗下的火山引擎DataTester向企業客戶開放。截至2023年6月，火山引擎的A/B測試平臺DataTester已累計進行二百四十萬余次A/B測試，日新增實驗四千多個，同時運行實驗五萬多個，服務了美的、平安銀行、得到等上百家標桿客戶。在字節跳動的輻射帶動下，神策數據、百度、云眼、LeanCloud等平臺相繼推出A/ B測試服務?？梢灶A見，A/B測試將在中國市場發揮越來越重要的作用，為企業創造更大的商業價值。

A/B測試在不同行業的應用

互聯網巨頭在A/B測試的普及進程中起到了引領性作用。在目睹實驗的“威力”后，越來越多企業成為A/B測試的追隨者，A/B測試逐漸在電商、影視、通信、金融、咨詢、游戲、軟件等行業得到廣泛應用。

電商行業

與其他行業不同，電商行業通常不存在“一刀切”的解決方案，對某個品牌有效的特定策略可能對另一個品牌完全無效。因此，電商行業的A/B測試是一個綜合性極強、需要精細管理和快速反應的過程，它要求賣家深入了解自己的客戶、產品和市場環境，以便制定最有效的銷售策略。

作為國內領先的電子商務平臺，京東通過智能店長工具向賣家提供A/B測試服務，以評估和優化其在線商店的用戶體驗和銷售效果（見圖3）。借助智能店長，賣家可以自行設置實驗周期、分流占比等參數，對商品主圖進行A/B測試，觀察不同版本主圖對銷售轉化的促進作用。事實證明，選擇使用A/B測試的賣家獲得了可觀的回報——主圖實驗通過數據驅動幫助賣家更有效地利用流量，使搜索側點擊率平均提升了2%—3%，A/B測試帶來的商業效益可見一斑。

影視行業

在快節奏的網絡時代，企業常常使用A/ B測試來對網站界面、推送內容等進行實驗，以吸引越來越沒有耐心的訪客。愛奇藝是中國高品質視頻娛樂服務提供者的代表，擁有超過1.2億會員。目前，愛奇藝A/B測試實驗系統已經服務于公司多個業務線，真正實現了“數據驅動業務”。

提升用戶使用時長是愛奇藝的重要目標之一，為了實現這個目標，愛奇藝的產品團隊在2021年對APP的電視劇頻道頁進行了UI改版A/B測試。他們對訪問過電視劇頻道頁的用戶畫像進行分析，針對性地調整了頻道頁的UI交互設計（見圖4）。測試結果顯示，新版頻道頁使人均正片觀看時長提升了17.85%，說明新版頻道頁在用戶體驗上顯著優于舊版頻道頁，這為產品優化提供了重要的決策依據。

通信行業

數字化轉型進入全新階段，通信行業正積極搶抓新一輪戰略機遇，力爭在數字經濟發展的“新藍?！敝杏铝⒊鳖^。4G管家是中國移動為4G用戶專門定制的移動端APP。為了提高APP的留存率和活躍度，產品部門提出了一個更新計劃：將APP首頁的業務文案由“話費余額”修改為“話費賬單”（見圖5）。為了驗證這項改動的合理性，他們采用A/B測試對兩個版本的用戶進行了行為對照實驗。三周過后，后臺數據明確顯示：與原版相比，實驗版本的“話費賬單”文案導致核心業務數據下降近23%。這表明用戶對實驗版本文案的接受度并不高。產品團隊綜合考慮了用戶使用余額業務的情況以及這一業務的核心價值，最終決定放棄此次改動。中國移動的A/B測試經驗提醒我們：用戶使用產品有固有的習慣和認知，新想法的成效最好還是交由“實驗”檢驗。

A/B測試的理論基礎

A/B測試為何具有如此大的威力，背后機理何在？A/B測試本質上是一種數字實驗（digital experimentation），組織和戰略領域圍繞實驗（experimentation）的研究為我們理解A/B測試的驚人力量提供了重要理論視角。

開展實驗對企業來說并非新鮮事。早在1969年，西蒙（Simon）就提出測試和實驗是企業研發過程中的有效策略。此后，學者們探究了不同場景下不同類型的實驗對企業創新、績效等各方面的積極影響，包括對產品、商業模式、創業機會等的實驗。這部分文獻的核心觀點是，實驗是企業產生新知識和應對內外部不確定性的一種重要戰略。通過實驗，企業可以測試不同的策略或假設，并基于數據和因果關系作出決策，這有助于企業更好地適應內外部環境的變化、提高決策效率和質量。

實驗之所以有這些功效，是因為它可以促進組織學習，學術界把這種類型的組織學習稱為實驗型學習（experimental learning）。具體來說，實驗型學習指的是企業有意地創造對比條件來測試因果關系并產生新知識的過程。與經驗學習（experiential learning）、認知學習（cognitive learning）、替代學習（vicarious learning）等傳統學習方式相比，實驗型學習能夠幫助企業快速、高效且低成本地進行知識的獲取、吸收、整合和利用，因而能夠更好地提升企業在創新活動中的決策效率和決策質量。

實驗型學習發生在企業的實驗過程中。根據哈佛商學院斯蒂芬·湯姆克（Stefan Thomke）教授提出的實驗迭代循環模型（見圖6），企業的實驗一般包含四個階段：設計（design）、構建（build）、運行（run）和分析（analyze）。在設計階段，實驗者明確實驗的目標和方向，并進行實驗構思和設計。在構建階段，實驗者構建進行實驗所需的原型或模型。在運行階段，實驗者在真實或模擬的環境中運行實驗，并捕捉和收集相關數據。最后，在分析階段，實驗者分析和評估實驗中收集到的數據，嘗試理解其中蘊含的因果關系。如果分析的結果令人滿意，則停止實驗，基于實驗結果進行決策。否則，實驗者將依據從實驗中學習到的知識改進設計并重新迭代。