大模型時代的社會科學，何去何從？

謝天 邱林 李雨曈 羅殷 劉盼

生成式大語言模型（簡稱大模型）橫空出世，在人工智能領域帶來了前所未有的突破。它們能夠參與復雜的邏輯推理、理解和生成自然語言，甚至顯示出對社會現象深刻的洞察與新穎的解釋。對于社會科學研究者，大模型意味著什么？它僅僅是一個研究工具的升級，還是對傳統研究范式的挑戰乃至重塑？本文將從大模型的原理和它在研究方法中的實用案例，來探討大模型將如何重構社會科學的研究方式。

1 生成式大語言模型簡介

生成式大語言模型，如GPT（Generative Pretrained Transformer）[1]，最初是為了研發一個智能填詞工具。比如，有一個填空題：天空是_______。通過分析海量文本與基于神經網絡的機器學習算法，GPT能填上：“藍色的”，因為根據計算，“藍色的”出現在“天空”后的概率最高。這種能力被有的研究者戲稱為“隨機鸚鵡”（stochastically parroting）[2]，因為GPT無法將“天空”這個詞與實際的天空對應起來，即它并不“知道”每個詞所對應的意義是什么。

然而，令人驚訝的是，這只“隨機鸚鵡”在學習了海量的訓練數據后，形成了有萬億個參數的大模型，能產生與人類創作媲美的文本、影音等內容，甚至表現出與人類相當的心智能力。例如，GPT-3.5能站在他人視角上看待問題[3]（theory of mind），在一系列認知與決策任務中的表現與人類相當[4]，“涌現”出的類比推理能力甚至超過了人類[5]。在經過一定訓練后，它還能在內部生成一個理解時間與空間的世界模型[6]。部分研究者甚至認為人工智能（AI）即將產生出自我意識，并呼吁對未來潛在風險進行管控[7]。

2 大模型賦能社會科學研究

傳統的社會科學研究，往往由研究者主導進行文獻綜述并提出研究問題和理論觀點，設計研究，收集數據，分析數據。大模型現在已能夠賦能每個研究環節。

2.1 綜述文獻并提出理論觀點

文獻綜述是學術研究的起點。對于單篇論文，GPT能幫助研究者迅速總結出論文的研究問題、方法、主要結論等框架性要點[8]。而對于文獻的全面總結，盡管存在不足，GPT已經能夠輔助開展系統性文獻綜述（systematic review）[9]。綜述文獻后，發現研究問題并提出理論觀點通常被認為是整個研究的核心。此過程涉及的創造性思維也會被認為是人類智慧的關鍵且充滿神秘色彩。但創造性思維可以被簡化為在問題空間中進行有效搜索，同時生產可能的解決方案（即理論或假設）[10]。這樣一來，人工智能就可以通過搜索過程顯示出創造力。因此，人工智能助力的理論創新或科學發現已蔚然成為一個新的研究領域[11]。

來自意大利的一個研究團隊在2023年5-6月就開展了一系列實驗，以檢驗GPT能否能在商業理論與實踐中提出新的理論觀點。他們首先在“商業戰略與創新管理”及“組織與創新文化”兩個領域中找出了10個重要的理論及實踐，然后讓ChatGPT學習這些內容，并提出顛覆性的新觀點。他們發現，雖然ChatGPT的輸出有時會混淆有價值和沒價值的信息，但并沒有出現明顯錯誤。更關鍵的是，他們發現GPT提出了非常創新的觀點，有時甚至超過了專家的水平。這說明GPT已經能夠提出具有創造性的理論觀點了[12]。

2.2 設計研究

大模型能幫助研究者進行研究設計。比如，無論是定量、定性還是混合方法,基于研究問題的性質和已提出的理論觀點，GPT能識別并推薦最匹配的研究方法。接下來，在操作化研究概念和變量時，GPT可以通過訪問廣泛的文獻庫，確保所選變量的定義、測量和解釋符合研究目的。最后，GPT還可以根據研究的樣本分布為分層抽樣或樣本配對提供建議，以確保樣本的代表性[8]。

在制作研究材料方面，如訪談提綱或問卷題項，GPT也能助研究者一臂之力。在我們的一項關于松-緊文化①松——緊文化中的“緊”指規范強，對偏差行為包容度低；而“松”是指規范弱，對偏差行為包容度高。經典研究見：Gelfand M J, Raver J L, Nishii L, et al.Differences between Tight and Loose Cultures: A 33-Nation Study[J/OL].Science, 2011,332（6033）：1100-1104[2023-10-01].https://www.science.org/doi/10.1126/science.1197754.的研究中，需要創作一些情境短文，來測量被試者對短文中信息的敏感度。我們期望每個短文以某人進入一個陌生環境為情境，并包含“必須”或“可以”做的事情。我們輸入了以下指令給GPT（原文為英文）：

請制作一個150字左右的場景，描述一個孤獨的旅行者偶然發現了一個偏僻、與世隔絕的村莊。請在情境中包含6件旅行者必須做的事情。在描述這些事情時，請務必使用“必須”一詞。此外，還請包含6件旅行者可以自由選擇做的陳述，并確保使用“可以”一詞。還請保持“必須”和“可以”句子里表達的情緒在程度上相當。

GPT輸出了符合我們要求的短文，但不夠淺顯易懂。于是，我們輸入了以下指令給GPT（原文為英文）：

請調整語句，使沒有經過大學教育的人也能理解。

GPT根據指令對原先的短文進行了修改。我們邀請了實驗助手對GPT生成的實驗材料進行了人工評估。結果表明，GPT生成的實驗材料完全符合我們的要求。我們使用這些材料收集數據，并獲得了良好的效果。這表明，GPT能夠產生有效的研究材料。

2.3 收集數據

如果大模型獲取了足夠多的有關人類社會的知識，并掌握了人的思考方式，那么在理論上它就可以模擬人類作答心理測試與問卷調查。這將取代人類被試在數據收集中的必要性[13]。為此，我們在2023年6月開展了一項研究，來檢測GPT是否能取代大規模民調。皮尤研究中心（Pew Research Center）是美國的一個知名調研機構，主要對社會、公共和政策問題進行調查分析。它于2022年3月調查了10,441位美國公民對俄烏沖突和拜登政府應對方式的看法，該調查包括8道題。例如：“您對拜登政府對俄烏沖突的反應持何態度？”（1:非常支持～4:非常不支持）[14]。由于GPT-4 的訓練數據僅更新至2021年9月，因此它對于2022年2月發生的俄烏沖突及這個有關俄烏沖突的民調并不知道。如果GPT能產生出與實際民調結果一致的數據，那就能為GPT模擬受訪者回答問卷提供有力的證據。

我們首先向GPT介紹了俄烏沖突和以上民調的題項內容，然后要求其預測，美國受訪者在每個問題上選擇各個選項的百分比。與實際調查結果對比，GPT-4的預測平均絕對誤差（MAE）為9.59%。也就是說，盡管存在偏差，但GPT的預測與實際調查結果相當接近。具體而言，在8個問題中，GPT在7個問題上的預測與調查結果的選擇方向相符，即它能相對準確地預測出更多人選擇“支持”或“不支持”的傾向，或預測出“重大威脅”大于“小威脅”大于“非威脅”的選擇比例。我們又對另外三個皮尤研究中心的民調做了相同的實驗, 并得到了類似的結果。這說明，GPT有模擬受訪者產生大規模調查數據的能力。

不僅是模擬調查數據，大模型甚至還催生出一種全新的數據生產方式，即由大模型控制的虛擬智能體（agent）模擬出個體與群體行為。斯坦福大學的研究團隊建立了一個模擬小鎮[15]。在這個小鎮里有25個以GPT為“大腦”的智能體，他們能產生擬人程度很高的個體行為。比如，一個智能體早晨起床后會刷牙，洗澡，邊看新聞邊吃早飯，并與家人聊天。同時，他們也能表現出自主的的群體行為。例如，當研究者讓一個智能體組織一個派對，這個智能體就會自動把派對的信息告訴其他智能體，其他智能體就會相互約定一起去，最后準時在派對舉行的地點的出現。這樣的智能體與過去的基于主體的建模（Agent-Based Modeling）中的個體不同。他們不再局限于建模時的既定行為規則，而是能夠在互動中自動產生規則[16]。這樣的“斯坦福智能體小鎮”能在虛擬環境中產生類似真實生活中的交互場景，為社科研究者收集個體與群體行為數據提供了極大的便利。

2.4 分析數據

在定性數據分析中，最耗時耗力的工作就是對文本進行編碼。在演繹編碼（deductive coding）中，研究人員需要根據預先確定的編碼本將新的數據標記為一組固定的編碼。最近的研究發現，GPT-3可直接用于各種演繹編碼任務，無需微調（finetune）就能與人類專家編碼的結果保持一致[17]。我們的研究也顯示，GPT對中文與英文文本的編碼能力很相近。而對于多人協作的編碼任務，也已經有研究者開發了基于GPT的AI輔助編碼工具，并通過了可用性與有效性評估[18]。對于定量數據分析，GPT不僅可以協助研究者進行數據清洗、異常值檢測、變量轉換、缺失值分析等基礎工作，而且對于描述統計、回歸分析、多變量統計等，GPT基本能夠根據研究者需求生成相應統計軟件的指令，甚至自動生成結果報告。盡管在某些任務上表現不佳，但鑒于GPT的綜合效率和潛力，有研究者認為大模型的出現會對數據科學產生巨大改變[19]。

3 人工智能驅動的社會科學

傳統的社會科學研究多為理論驅動（theorydriven）。但在過去的10年，隨著社交媒體與大數據的出現，浮現出大量數據驅動（data-driven）的社會科學研究[20]。在當今的大模型時代，社會科學研究將逐漸成為人工智能驅動 (AI-driven)。因為如前文所述，大模型已能在社科研究的每一個環節發揮重要作用。具體來說，大模型已能夠通過文獻綜述提出研究問題和理論觀點，產生研究材料，模擬并收集研究數據，以及分析數據?，F今，大模型在每一個環節里的功能是孤立的，不連續的。但是，一旦大模型能夠將這些功能整合在一個自動系統中，即它能獨立提出研究問題，并為這個研究問題產生研究材料，然后應用這些材料去模擬或收集數據，最后分析數據來回答最初的研究問題，那么社會科學研究將由人工智能來主導。社科研究者的角色有可能從主導者逐漸轉變為輔助者。

同時，原來以解釋導向（explanation-oriented）為主的社會科學，將逐漸轉化為解決導向（solutionoriented）。這是因為以往很難在現實生活中去嘗試并檢驗某個解決方案所產生的實際效果。而現在，在類似“斯坦福智能小鎮”這樣的多智能體模擬環境中，研究者不僅可以觀測并解釋某個社會問題是怎么產生的，而且可以嘗試不同的干預策略，來找到最佳的解決方案。這將夠使社會科學研究更有實效性，并顛覆理論在社科研究中的主導地位。

大模型人工智能驅動的新研究范式與研究者的角色轉變，必然會對社會科學研究者提出新的要求。首先，研究成本的降低將使傳統研究方法在研究貢獻中“貶值”，進而轉變研究者對方法掌握的重點：其一，研究者有更多精力用來學習和使用更多的跨學科的新方法，這為跨學科研究鋪平了道路；其二，學習重點不是方法細節，而是方法原理以及如何與人工智能協作；其三，需要提高理解和判斷人工智能輸出結果正誤并進行校正的能力。同時，由于人工智能在研究過程中的高效性，可能導致研究者過于依賴人工智能進行研究。因此，社科研究者不僅需要借助批判性思維進行更多的深度思考，更要確保研究問題在廣泛的社會、文化和歷史背景下是恰當和有效的，為人工智能提供人文智慧、道德判斷和深度解釋。

總之，以大模型為代表的人工智能技術不但能提高傳統社科研究中各個環節的效率，也將重塑社科研究的范式。研究者需要勇敢擁抱新科技帶來的變化，調整自身角色，與人工智能協同工作，一起推進能解決社會問題的社科研究。

作者貢獻說明

謝天：設計研究方案，論文初稿撰寫、修改與定稿；

邱林：提出研究思路，設計研究方案，論文撰寫與修改；

李雨曈：設計研究方案，收集和分析資料，論文修改；

羅殷：設計研究方案，收集和分析資料；

劉盼：設計研究方案，論文修改。