智能時代人因科學研究的新范式取向及重點

許 為 高在峰 葛列眾

智能時代人因科學研究的新范式取向及重點

許 為1高在峰2葛列眾1

(1浙江大學心理科學研究中心;2浙江大學心理與行為科學系, 杭州 310058)

本文首先提出了“人因科學”這一創新的學科群概念來表征工程心理學、人因工程、工效學、人機交互等相近領域。盡管這些領域的研究角度不一樣, 但是它們分享共同的研究理念、對象以及目的。我們近期的研究表明, 人工智能(AI)新技術帶來了一系列新的人因問題, 而作為人因科學研究對象的人機關系呈現出從“人機交互”向“人智組隊式合作”的跨時代演進。這些變化對人因科學研究提出了新問題和新挑戰, 需要我們重新審視基于非智能技術的人因科學研究范式和重點。在此背景下, 本文梳理人因科學研究范式取向跨時代的演進, 總結我們近5年所提出的一系列用于豐富人因科學研究范式的新概念模型和框架, 其中包括人智協同認知系統、人智協同認知生態系統以及智能社會技術系統的模型和框架。本文進一步從人因科學研究范式取向的角度進一步提升這些概念模型和框架, 提出智能時代人因科學研究的三種新范式取向, 分析相應的應用意義, 并展望今后的研究方向。同時, 針對智能時代人因科學研究重點的跨時代轉移新特征, 本文從“人智交互” “智能人機界面” “人智組隊合作”三個方面展望了今后人因科學的研究重點, 揭示出人因科學新研究范式取向對未來研究重點的作用。我們認為, 人因科學的研究范式取向和研究重點互為影響, 互為促進, 智能時代的人因科學研究需要多樣化、創新的研究范式取向, 從而進一步推動人因科學的發展。

人因科學, 工程心理學, 人因工程, 研究范式取向, 人智組隊

1 引言

工程心理學(engineering psychology)、人因工程(human factors engineering)和工效學(ergonomics)均誕生于上世紀二次大戰期間, 雖然它們具有各自獨特的研究角度和重點, 但是都分享“以人為中心”的共同理念。例如, 工程心理學從人類認知信息加工角度為人機系統的優化設計提供心理學原理、方法及實證(Wickens et al., 2021; 孫向紅等, 2011; 許為, 朱祖祥, 1989); 人因工程和工效學則從人?機?環境關系匹配的工程設計角度為人機系統的優化設計提供人因和工效設計原則、方法及實證(Sanders & McCormick, 1993; 許為, 陳勇, 2012, 2013, 2014; Xu & Zhu, 1990; Xu, 2007)。進入計算機時代, 人與計算機(包括基于計算技術的產品)交互帶來了許多新的人因(human factors)問題, 推動了人機交互(human-computer interaction, HCI)、用戶體驗等領域的產生和發展(Norman & Kirakowski, 2017; Norman & Draper, 1986; Xu et al., 1999; 許為, 2003, 2005, 2017)?；凇耙匀藶橹行摹钡墓餐砟? 這些相近領域都希望通過優化人、機器以及環境之間的交互, 確保系統實現安全、高效和宜人的目標, 因此, 我們將這些領域統稱為人因科學(human factors science)。

本文在國際上首次提出了“人因科學”這一創新的學科群概念。該概念從本質上凸顯出工程心理學、人因工程、工效學、人機交互、用戶體驗等相近領域圍繞“人”這一要素在各自相應研究和應用中所采納的共同研究理念、對象以及目的。類似于認知科學與認知心理學的關系, 人因科學的概念是比這些領域更高一級的表達。在實踐中遇到的許多研究和應用問題有時不能簡單地歸屬于這些相近領域中的某一個特定領域, 通常需要從跨領域的角度來探索解決問題的整體方案。因此, “人因科學”學科群概念的提出有助于從更高的系統層面上來探索人因科學的系統化整體解決方案, 促進這些相近領域之間的交流與合作、取長補短、協同發展, 從而實現共同的領域目標。

進入智能時代, 基于人工智能(AI)技術的智能自主化系統帶來了一系列新特征和新問題(Kaber, 2018; 許為, 2020), 這必將對人因科學研究以及相應的研究范式取向帶來新的要求, 需要我們系統的梳理, 從而保證人因科學能夠為智能新技術的優化設計做出更加有效的學科貢獻。本文將一門領域的研究范式取向定義為該領域開展研究所采納的角度和層面, 一個研究范式取向決定了該研究范圍、重點以及相應的方法。從人因科學的整體角度出發, 本文對人因科學中相近領域的研究范式取向與研究重點展開全面系統的評估。

近5年來, 針對智能時代的人因科學研究理念和對象等問題, 我們提出了一系列新論述、概念模型和框架, 例如“以人為中心AI”理念, 基于“人智組隊” (human-AI teaming)式合作的新型人機關系, “人智交互(human-AI interaction)”的新型跨學科研究領域。在這些研究基礎上, 針對智能時代人因科學的研究范式取向, 我們開展了一些新探索, 并且提出了一系列新論述和新概念框架(Xu et al., 2019; Xu, 2019, 2021; 許為, 葛列眾, 2018, 2020; 許為等, 2021; 許為, 2019a, 2022, 2022a, 2022b, 2022c; Xu et al., 2022; Xu & Dainoff, 2023; Ozmen Garibay et al., 2023; Xu & Gao, 2023; Gao et al., 2023)。這些人因科學研究新理念、新論述和新概念框架必然帶來對人因科學研究范式取向和重點的新思考, 人因科學界目前還沒有系統地開展這方面的工作。因此, 本文通過梳理人因科學研究范式取向和重點, 進一步提升我們所提出的這些人因科學研究新理念、新論述和新概念框架, 回答以下科學問題：智能時代人因科學應該采用怎樣的研究范式取向來有效地支持今后的研究？智能時代人因科學今后的研究重點是什么？以期為下一步人因科學研究提供新思路。

2 人因科學研究對象和范式取向的跨時代演變

2.1 人因科學研究對象的演變

人因科學的研究對象是人機關系。在計算機時代, 在人與非智能計算系統的交互中, 機器充當人機系統中輔助工具的角色。在智能時代, 人與智能系統的交互本質上是與智能系統中的智能體(intelligent agent)之間的交互?；谥悄芗夹g, 這些智能體可以展現出獨特的自主化(autonomy)新特征, 擁有一些類似人類的認知能力(感知、學習、推理等), 在一些設計未預期的場景中, 可自主地完成以往自動化技術所不能完成的任務(Kaber, 2018; Madni & Madni, 2018; 許為, 2020)。因此, 智能系統可以從一種支持人類操作的輔助工具角色發展成為與人類合作的團隊隊友, 扮演“輔助工具 + 人機合作隊友”的雙重新角色, 從而形成一種新型的人機關系形態：“人智組隊”式合作(Brill et al., 2018; 許為, 葛列眾, 2020)。這種新型“人智組隊”式合作關系給人機關系賦予了新的內涵, 帶來了人機關系跨時代的演變(許為, 葛列眾, 2020), 也為人因科學研究帶來了新的視角, 需要我們重新審視基于非智能技術的人因科學研究范式和重點。

2.2 人因科學研究范式取向的探索

縱觀發展歷史, 借助于新興技術, 人因科學的研究范式取向一直在拓展。這種拓展提升了人因科學研究的方法論, 擴展了學科研究的范圍和解決問題的深度, 進而推動了人因科學的不斷發展。

在發展初期, 傳統人因科學(如早期的工效學)注重人類體力作業、人機界面等物理特征, 研究主要借助人類體力作業分析、時間任務分析等手段來實現人機功能和任務的合理分配, 達到優化人機系統效率的目的(Sanders & McCormick, 1993; Gardner et al., 1995)。

自從進入計算機時代, 人因科學的研究范式基本上是基于信息加工的認知理論構建, 但是這種研究范式在人因科學發展各階段中呈現出不同的取向。在計算機時代, 人因科學(如工程心理學、認知工效學)從信息加工機制出發, 深入到人的心理活動層面, 考察在人機操作環境中人類工作績效與感知覺、注意、記憶、決策等心理活動間的關系, 達到優化人機系統的設計目的(Wickens et al., 2021; 孫向紅等, 2011)。為解決人與計算機交互中的人因問題, 人因科學(如人機交互、用戶體驗)采用了基于“以用戶為中心”理念的方法, 構建用戶心理和情景意識模型、人機交互認知模型及人機界面概念模型, 采用基于心理學方法的可用性測試等驗證方法, 開發出符合用戶需求和體驗的交互式產品(Nielsen, 1994; Finstad et al., 2009; 許為, 2024)。

然而, 人因科學研究通常注重在人類外在行為的層面上, 通過客觀工作績效和主觀評價方法來考察人的認知活動和工作績效。為克服這種方式的局限性, 人因科學進一步采納了來自認知神經科學的測量技術方法(如EEG、fMRI等), 形成了神經人因學(neuroergonomics), 從而能夠深入到人類認知加工的內部神經活動層面, 探索在人機交互環境中認知加工的神經機制(Parasuraman & Rizzo, 2006), 為人因科學提供了更為客觀的實證手段(Dehais et al., 2020)。

進入智能時代, 智能技術的新特征、人因科學研究理念和對象(人機關系)的跨時代演變必然帶來對人因科學研究范式取向的新思考。然而, 人因科學界還未系統地開展這方面的工作。自2021年, 我們針對智能時代的人因科學研究范式取向開展了一些新探索, 以下分別總結我們提出的人智協同認知系統(human-AI joint cognitive systems)、人智協同認知生態系統(human-AI joint cognitive ecosystem)、智能社會技術系統(intelligent sociotechnical systems)概念模型和框架(許為, 2022a, 2022b, 2022c; Xu et al., 2022; Xu & Dainoff, 2023; Ozmen Garibay et al., 2023; Xu & Gao, 2023; Gao et al., 2023)。同時, 本文從人因科學研究范式取向的角度進一步提升這些概念模型和框架, 然后通過智能駕駛人機共駕的應用實例來分析這些研究范式取向的應用意義, 并且展望今后的研究。

3 智能時代人因科學研究的新范式取向

3.1 人智協同認知系統

3.1.1 人智協同認知系統的概念模型

人機交互模型是人因科學研究的一個重要內容。研究者通常采用了人類信息處理模型來構建人機交互模型, 例如MHP、GOMS、SOAR、ACT-R、EPIC等模型(綜述見王宏安等, 2020)。這些模型主要針對非智能人機交互, 機器僅僅是作為一個工具來考慮, 沒有考慮人與智能系統之間潛在的人機合作關系, 無法有效處理智能人機交互任務(許為, 葛列眾, 2020)。目前, 國際學術界就人?智能系統之間存在的合作關系已基本達成共識(例如, NASEM, 2021; Caldwell et al., 2022)。然而, 迄今尚未有人智組隊合作的交互模型。鑒于此, 基于智能技術的自主化新特征以及新型人智組隊式合作關系, 采用協同認知系統理論(joint cognitive systems; Hollnagel & Woods, 2005)、情景意識(situation awareness)理論(Endsley, 1995)以及智能體理論(Wooldridge & Jennings, 1995; 王祝萍, 張皓, 2020), 我們首次提出了一個針對智能人機系統中人智組隊合作的人智協同認知系統概念模型(許為, 2022b; Xu & Gao, 2023) (見圖1)。

如圖1所示, 不同于傳統人機交互系統, 該模型將智能系統(包括一個或多個智能體)視作為能夠完成一定認知信息加工任務的認知體。因此, 一個智能人機系統可以表征為兩個認知體協同合作的一個協同認知系統。作為與人類用戶合作的團隊隊友, 智能系統通過自然有效的人機交互方式(如語音、手勢、表情等)與人類用戶開展雙向主動式交互和協同合作。在特定的人機交互場景中, 智能系統可以對用戶狀態(認知、生理、意圖、情感等)、環境上下文等狀態進行自主感知、識別、學習、推理等認知作業, 做出相應的自主執行(Kaber, 2018; 許為, 2019b; Xu, 2021)。

該框架采用Endsley的情景意識認知理論來表征人類用戶和機器認知體的信息加工機制(Endsley, 1995, 2015), 即人類操作員感知和理解當前環境狀態(包括人機界面、系統、環境、合作隊友等)以及預測未來情景狀態的認知加工機制。該模型還包括了情景意識與記憶、經驗、知識等因素的認知交互, 并且擁有數據驅動(根據感知數據來理解和預測情景)和目標驅動(根據目標以及當前的理解和預測來驗證感知數據)的信息加工機制。借助于一個信息收集和后期響應的動態反饋和前饋回路機制, 人類用戶能夠感知動態的環境情景來更新獲取的信息。如圖1所示(右側), 該模型采用與人類用戶認知體異質同構方式來表征機器認知體的信息加工機制。

圖1 一個表征人智協同認知系統的概念框架

圖1所表征的概念框架為人因科學研究提供了一種新的研究范式取向, 該研究范式取向體現了以下一些新特征和研究新思路：

(1)基于機器認知體的研究范式新取向：不同于傳統人因科學研究范式將機器視作為輔助人類作業的工具, 該模型將機器智能體表征為與人類組隊合作的認知體, 這有助于人因科學通過研究智能體的認知行為以及與人類的合作行為, 探索通過優化智能體認知能力和行為的途徑來提升人機系統績效。

(2)基于“人智組隊”的合作式研究范式新取向：不同于傳統人因科學研究范式的“人機交互”式人機關系, 該模型將人機關系表征為一個人智協同認知系統中人?機兩個認知體之間的協同合作, 探索通過優化人機協同合作的途徑來提升人機系統績效。

(3)“以人為中心AI”的理念：在人智組隊合作的團隊中, 人類用戶是這一合作團隊的領導者, 在應急狀態下人類是系統的最終決控者。

(4)人機雙向主動式狀態識別：不同于傳統的“刺激?反應”單向式人機交互, 該模型強調人機雙向主動式狀態識別, 智能系統可以通過感應系統主動監測和識別用戶生理、認知、行為、意圖、情感等狀態, 人類用戶則通過多模態人機界面獲取最佳的情景意識。

(5)人機智能互補性：作為一個協同認知系統, 系統績效不僅僅取決于系統單個部分的績效, 而是取決于人機智能互補和合作, 通過人機混合(融合)智能來最大限度地提高人機協同合作和整體系統績效。

(6)自適應智能人機交互：強調智能系統的自適應機制, 根據對用戶、環境上下文等狀態的感應識別和推理, 智能體可以在設計無法預測的一些場景中做出合適的自適應系統輸出, 而人類用戶根據情景意識、任務、目標等自適應地調整交互行為。

(7)人機合作式認知界面：強調構建基于多模態交互技術的人機合作式認知界面來支持人機協同合作, 其中包括對人機雙向情景意識、人機互信、人機決策共享、人機控制共享、人機社會交互、人機情感交互等方面的支持。

3.1.2 應用分析

基于智能技術的自動駕駛車是一個典型的智能人機系統。目前, 盡管人因科學專業人員參與了自動駕駛車的研發, 但是頻頻發生的事故促使我們探索設計新思路(NTSB, 2017; Endsley, 2018; 許為, 2020)。SAE (2019)將自動駕駛車系統分為5個“自動化”等級(L1～L5), 在相當長一段時間內, 自動駕駛車人機共駕將是常態(宗長富等, 2021)。在高等級自動駕駛車系統中, 基于人智協同認知系統的研究范式取向, 人類駕駛員和車載智能系統是可以完成一定認知信息加工任務的兩個認知體, 自動駕駛車人機共駕就是一個基于人智組隊合作的人智協同認知系統(許為, 2020; Xu, 2021; Gao et al., 2023)。裝備智能感知等技術的車載智能系統(智能體)可對人類駕駛員狀態、環境等狀態進行一定程度的感知、識別、學習、推理等認知作業, 與人類駕駛員開展有效的人機共駕。因此, 人機共駕解決方案可以從幾方面來探索：

(1)人機協同合作的設計新范式：目前基于“以技術為中心”理念的自動駕駛級別分類法強調了智能駕駛車作為輔助或取代人類駕駛的工具角色(SAE, 2019)。人智協同認知系統倡導以人為中心和人機合作的設計思維, 這有助于在各種自動駕駛任務場景中為雙方建立協同合作式關系和動態化人機功能分配, 從人機協同合作、人機互信、情景意識共享、人機控制共享和協同駕駛等角度來優化車載人機系統設計(Biondi et al., 2019; 許為, 2020; 高在峰等, 2021)。例如, 研究應急狀態下的車輛控制權人機切換, 確保人擁有最終控制權(包括遠程控制) (Fridman, 2018); 探索在什么條件下(如人機互信程度, 駕駛員狀態和行車意圖)完成有效的人機控制權切換。

(2)人機狀態雙向識別：強調人機兩個認知體之間的雙向主動式狀態識別, 基于智能體對人類駕駛員狀態、駕駛行為、意圖的監測理解以及人類駕駛員對系統和環境的情景意識, 實現有效的人機協同合作。例如, 如何建模和實現駕駛員操作意圖識別, 如何提高對駕駛員狀態監測的準確性, 如何通過解釋性AI來提升操作員情景意識。

(3)基于“人在環內”的人機混合智能設計：“人在環外”的人機系統設計是導致事故的重要原因之一(NTSB, 2017; Endsley, 2018)。人機共駕應是一個“人在環內”的人機混合智能系統。研究在系統層面(如“人在環內”控制)和生物層面(如腦機控制)的有效“人在環內”設計; 如何采用人機智能互補來優化系統設計; 落實“有意義的人類控制” (meaningful human control)設計以及如何采用車載“故障追蹤系統”來實現人機故障問責和設計改善的機制(Santoni de Sio & van den Hoven, 2018)。

(4)基于智能自主化的設計：作為一個“移動式”智能自主化系統, 高等級自動駕駛車系統所具備的自主化特征對系統設計提出了不同于傳統自動化技術的新需求, 例如, 潛在的不確定系統輸出、可解釋人機界面、人機控制權分享(許為, 2020)。系統設計需要采用有效方法來滿足這些新需求, 提高行駛安全。

(5)合作式認知界面設計：探索“合作式認知界面”來支持人機共駕中的人機協同合作, 探索有效的人機界面設計隱喻、范式及認知架構, 例如, 合作式認知界面、車載生態用戶界面(Burns & Hajdukiewicz, 2004)。

3.1.3 研究展望

為豐富人智協同認知系統的研究范式取向, 今后研究要考慮以下幾方面: (1)開展針對機器智能體認知特征、認知能力、行為演變、人?智比較研究等方面的研究(Zhu et al., 2020); 研究人因科學如何參與對機器智能體的優化設計, 提升人智組隊的協同合作。(2)開展針對人智組隊合作的理論研究, 借鑒現有人?人團隊合作等理論, 探索人智組隊合作理論、方法、人機合作績效評估系統(Madhavan & Wiegmann, 2007; Kaber, 2018)。(3)構建人機協同合作的人機分享式/團隊式情景意識、人機互信、人機決策和控制分享等模型(許為, 2020; Gao et al., 2023)。(4)開發有效的用戶狀態、行為、意圖、情感識別認知模型, 研究有效的知識表征和知識圖譜來支持計算建模。(5)研究基于用戶、系統、環境狀態評估的自適應優化設計, 利用智能系統主動式前饋預測能力來協助人類團隊隊友, 實現主動式、自適應的人機交互; (6)研究有效支持人機協同合作的合作式認知界面設計新范式和模型。

3.2 人智協同認知生態系統

3.2.1 人智協同認知生態系統的概念框架

人因科學研究通常注重于單一人機系統, 人智協同認知系統也主要針對人與單智能體系統之間的協同合作。但是, 智能不僅僅是一個產品或系統, 而是一個包括了技術變革、系統演變、運行方式創新和組織適應等特征的跨智能系統(產品)的生態體系(劉偉等, 2023)。例如, 基于單車自動駕駛的人機互駕僅僅是一個人智協同認知系統, 整個人機共駕智能生態系統包括基于智能車聯網、智能交通系統等技術的人與車、車與車、車與智能交通環境之間的交互和協同合作, 這些多智能體系統構成了一個人智協同認知生態系統。這些多重人智協同認知系統間的相互作用和協同合作將直接影響單車人機互駕的行駛安全。因此, 人因科學研究范式需要突破面向單一人智系統的研究范式取向, 從生態系統化的研究范式取向來整體考慮智能協同認知生態系統的系統解決方案。

目前, 針對多智能體系統的研究目前主要側重在工程技術方面(Dorri et al., 2018; Allenby, 2021; Ali et al., 2021), 如分布式多智能體系統和人機物融合群智計算等(謝磊, 謝幸, 2021; 郭斌, 於志文, 2021), 但是目前尚未見從人因科學角度出發來考慮系統設計和構建的研究。我們采用生態系統的研究范式取向, 借鑒協同認知系統理論(Hollnagel & Woods, 2005)、多智能體系統理論(Dorri et al., 2018; Le Page & Bousquet, 2004)、多智能體生態系統思維(IDC, 2020; Allenby, 2021; Ali et al., 2021), 首次將一個智能生態系統表征為一個人智協同認知生態系統(見圖2) (許為, 2022a)。如圖2所示, 一個多智能體生態系統可表征為一個協同認知生態系統。一系列人智協同認知生態系統形成了一個個龐大的基于多重智能體系統的人智協同認知生態系統(如智慧城市、智能交通)。

圖2所表征的概念框架從生態系統化的角度為人因科學提供了一種新的研究范式取向, 該研究范式取向體現了以下一些新特征和人因科學研究新思路：

(1)基于生態系統的研究范式新取向：一個多智能體生態系統可表征為一個人智協同認知生態系統, 它由一系列相互作用的人智協同認知系統組成, 智能生態系統的整體優化設計需要考慮這些人智協同認知系統之間的相互作用和協同合作。一個人智協同認知生態系統的系統績效和安全取決于各個人智協同認知生態系統的整體優化設計。這種新取向體現了人因科學研究范式取向從“點” (單一人機系統)到“面” (跨人機系統)的擴展。

(2)“以人為中心AI”的理念：人類在跨智能系統的智能生態體系中占有中心位置, 智能生態系統設計、開發和實施必須將人類需求、價值、智慧、能力和作用等置于首位。例如, 構建跨智能系統的人智決策權限設置等保障系統, 構建跨智能系統的人智信任生態體系、跨智能系統(基于不同開發商、文化、社會、文化、倫理背景等)之間的沖突解決機制, 保證人類是整個人智生態系統運營的最終決控者, 保障智能生態系統的整體安全。

圖2 人智協同認知生態系統的概念框架

(3)“分布式”協同合作：基于生態系統的范式取向, 通過有效的網絡分布式(跨智能系統)人智交互和協同合作式系統設計來實現整體生態系統的最佳績效。這種分布式系統的設計需要考慮跨智能系統的認知增強學習、情景意識、人智情感交互、人智互信、人智信息加工、人智認知學習、人智協同決策、人智控制共享、人智社會交互等一系列具備分布式和分享式特征的協同合作, 提升人智生態系統的整體協同合作能力。

(4)系統學習和演進：系統設計要注重人智系統學習和演進?；谌祟惡椭悄荏w系統的學習和進化特征, 強調通過分布式認知增強學習、跨實體和跨任務的群體智能知識遷移、自組織與自適應協同等能力, 實現人智系統的持續演化和優化, 從而能夠組織各要素來適應動態化的復雜應用場景。同時, 人智協同認知生態系統強調基于人機智能差異性和互補性, 通過人智協同增強學習、群智融合、人智協同學習等方法和技術, 提升人智協同認知生態系統的整體學習、進化和協同合作能力。

3.2.2 應用分析

人智協同認知生態系統概念框架已被用來初步分析自動駕駛人機共駕和大型商用飛機駕駛艙單人飛行操作的應用場景(許為, 2022a; 許為等, 2021)。以自動駕駛人機共駕為例, 自動駕駛人機共駕的安全實現不僅僅依賴單車層面的系統設計, 還需要通過實現人、車、路、智能交通環境中各種認知體(智能體)之間的協同合作, 通過車端、路端、云端之間的有效信息交互等途徑, 從而為整個人機共駕生態系統的安全駕駛、決策和規劃提供優化的系統設計(譚征宇等, 2020)。圖3示意了自動駕駛人機共駕的人智協同認知生態系統, 人智協作認知生態系統的表征為自動駕駛人機互駕解決方案提供了人因科學研究新思路。

首先, 自動駕駛人機共駕模式的系統化設計思路。任何局限于“人類駕駛員 + 智能自動駕駛車”單車層面的設計都無法保證整個協同認知生態系統的優化設計和安全運行。作為一個龐大的人智協同認知生態系統工程, 人機共駕生態系統(人?車?路?交通?社會系統)的安全運營取決于該系統內所有人智協同認知子系統之間的有效協同合作和整體優化設計。

其次, 只有在人智協同認知生態系統層面上實現“以人為中心AI”理念, 才能保證人類擁有自動駕駛車的最終決控權。例如, 當車輛處于失控狀態(如系統故障、黑客攻擊、駕駛員失能), 一方面, 車載智能系統啟動智能應急方案來脫離當前的失控場景, 保護人類(包括駕駛員、乘客、道路行人和其他車輛等); 另一方面, 作為人智協同認知生態系統的余度化系統安全方案之一, 城市智能交通指揮中心或者智能車運營商控制中心的操作員能夠遠程接管故障車(如“5G云代駕”), 指揮協調路面其他智能駕駛車, 保證智能道路系統的整體安全。該生態系統設計必須考慮人的能力, 為各方人員提供有效的情景意識(人、車載系統、駕駛環境等狀態), 實現駕駛權限和責任的實時分配, 保證應急狀態下人類擁有對人機共駕生態系統的最終決控權。

圖3 自動駕駛人車共駕的人智協同認知生態系統示意圖

第三, 在人智協同認知生態系統范圍內實現自動駕駛人機共駕模式的系統安全和優化設計。從生態系統角度講, 系統設計需要保證整個人機共駕生態系統中各子系統的共同學習、共同演化、系統自適應等能力的實現。從協同認知角度講, 系統設計需要保證整個人機共駕生態系統中人?人、人?智、跨智能體以及跨子系統之間的有效交互, 建立有效的兼容和沖突協調機制(技術、交通規范等), 實現整個生態系統內的有效協同合作。

最后, 從人智協同認知生態系統角度制定實現自動駕駛人機共駕系統的策略。圖3所示的生態系統架構示意了以下可能的發展路徑：(1)“自下而上”路徑, 即從“人類駕駛員 + 智能自動駕駛車”到“智能道路系統”以及“智能交通指揮系統”; (2)“自上而下”路徑, 即從“智能交通系統”到“智能道路系統”以及“人類駕駛員 + 智能自動駕駛車”; (3)混合或并行路徑, 即基于“自下而上”與“自上而下”路徑的組合式并行發展路徑, 這可能是最安全、最有效的發展路徑。

3.2.3 研究展望

豐富人智協同認知生態系統概念框架的工作需要跨學科的合作, 今后研究應該首先考慮解決以下一些基本問題: (1)現有針對單一人機系統的人因科學研究主要采用實證的研究手段, 對基于生態系統研究取向的多人機系統研究, 需要探索支持該范式取向的方法論, 研究一個協同認知生態系統的基本元素、特征、結構、發展和演化過程等。(2)基本理論研究。例如, 人機行為協同共生理論, 即如何根據人機環境變化、人機感知節點能力差異性以及互補性, 借助生物群體的演化、自組織和自適應機制來發掘人?智自適應、自組織、演化等能力的理論(Rahwan et al., 2019; Werfel et al., 2014; 郭斌, 於志文, 2021); 群體分布式環境下智能體學習演化理論, 即基于人?智群體的融合協作、競爭等特征的群體智能體分布式學習模型, 群體智能體知識遷移方法(郭斌, 於志文, 2021; Neftci & Averbeck, 2019)。(3)跨人?多智能體系統的協同合作問題。多智能體人機交互和協同機制、績效評估系統; 人與多智能體間的協調、任務分配、團隊建設; 多智能體間的情景意識、可信度、任務分享、合作、決策控權分享(Le Page & Bousquet, 2004; Dorri et al., 2018); 基于不同文化和規范的跨智能體系統交互中的兼容性、溝通、模式轉換以及人類用戶的協調作用(ISO, 2020)。(4)應用方法。探索能有效影響智能生態系統設計的人因科學流程和方法。

3.3 智能社會技術系統

3.3.1 智能社會技術系統的概念框架

社會技術系統(sociotechnical systems, STS)理論提倡社會、技術、組織等子系統之間的協調, 從而實現最佳的系統績效(Eason, 2008)。人因科學研究通常注重于人機界面以及物理環境對人機系統績效的影響, 不注重考慮宏觀社會、組織環境等因素(葛列眾等, 2022)。在過去20年中, STS理論影響了人因科學領域, 推動了宏觀工效學(Macroergonomics)等領域的發展(Waterson et al., 2015)。由于智能系統需要在一定的STS環境中運行, 且智能技術可能對人類產生負面影響(如用戶隱私、倫理、決策權、技能成長等), 這種負面影響促使人因科學在STS的大環境中考慮智能系統的研發和使用(Stahl, 2021), 開展針對智能系統的研究(Asatiani et al., 2021)。例如, Steghofer等人(2017)認為下一代STS應該以智能技術為基礎, STS的社會子系統受智能技術、AI潛在的決策不確定性等因素的影響; 從STS開發流程和多學科合作角度, 研究者提出了參與式設計流程(Huang et al., 2019)、社會技術系統工程(STSE)框架(Baxter & Sommerville, 2011)、自適應STS系統架構(Dalpiaz et al., 2013)、人因科學方法(Waterson et al., 2015; Hollnagel et al., 2006)等。許為等(2021)提出的“人智交互”新型領域也是從宏觀的STS環境考慮。

目前還沒有針對智能技術的成熟STS理論, 人因科學研究應該探討如何在復雜STS環境中有效地研發和使用智能系統。為此, 許為(2022c)分析了智能時代STS的新特征, 這些新特征包括系統組成、認知代理、人機關系、用戶需求、系統決策和控制權、系統學習能力、系統設計范圍、組織目標和需求、系統復雜性和開放性等方面?；谶@些新特征, 我們在國際上初步提出了一個智能社會技術系統(intelligent sociotechnical systems, iSTS)概念框架(許為, 2022c) (見圖4)。

如圖4所示, iSTS繼承了傳統STS理論的一些基本特征。例如, iSTS內部環境有獨立但相互依賴的技術和社會子系統, 整體系統績效依賴于兩個子系統之間的協同優化(Badham et al., 2000); iSTS擁有一個宏觀的外部環境以及各類智能社會形態; 相對于人智協同認知生態系統, iSTS更加注重于宏觀和非技術因素, 其中包括工作系統重新設計、組織決策與智能決策等。

圖4所表征的概念框架從社會技術系統的視角為人因科學提供了一種新的研究范式取向, 該研究范式取向體現了以下一些新特征和人因科學研究新思路：

(1)基于STS的研究范式新取向：任何一個智能人機系統(人智協同認知系統)和智能生態系統(人智協同認知生態系統)的開發以及使用都在一個智能STS環境中發生, 智能系統的優化設計和有效使用都需要考慮技術與非技術子系統(如社會、組織)之間的相互作用。這種新取向體現了人因科學研究范式從“點” (單一人機系統)到“面” (跨人機系統)再到STS宏觀環境的進一步擴展。

(2) “以人為中心AI”的理念: 強調從人的需求、價值、智慧、能力和作用出發, 充分考慮社會、文化、倫理等宏觀環境因素對智能系統開發和使用的影響, 強調需要解決iSTS中獨特的人機合作、AI倫理道德等新問題。在系統開發中采用用戶參與等以人為中心的人因科學方法, 保證智能技術能夠有效輔助人類和組織決策, 確保人類擁有最終決控權(Herrmann et al., 2018; Baxter & Sommerville, 2011; Xu, 2019)。

(3)基于人智組隊的人機團隊協作：圖4中社會子系統與智能技術子系統兩個圓圈重疊的部分示意了兩子系統之間的協同合作關系, 這是iSTS區別于傳統STS所特有的新型人機關系(許為, 葛列眾, 2020)。強調在iSTS的社會和組織的語境中, 智能系統不僅僅是傳統STS中支持人類作業和提升組織生產力的簡單工具, 也是人智團隊協同合作的成員。iSTS中相互依賴的人智團隊是分享共同社會和組織目標的團體(Salas et al., 2008)。人類與智能系統(機器代理)之間的團隊式交互合作、團隊式互信、團隊式信息和決策分享等是智能系統成功開發的重要因素之一。

圖4 智能社會技術系統(iSTS)的概念框架

(4)組織適應和再設計。實施AI新技術會改變既定的工作系統, 甚至可能導致一些用戶陷入困境。iSTS強調將組織中的人類和智能系統作為一個新型的工作系統重新設計(包括人員、角色、流程、技術、治理等), 根據人與智能技術之間的優勢互補, 調整優化人機之間的功能和任務分配, 其中包括人機角色分配、工作流程、作業環境等, 制定有效的人智團隊的工作和任務, 保證人機功能的最佳分配, 提升整體系統績效; 在引進智能技術的同時, 要充分考慮組織內員工的崗位重新分配、公平、滿意感、決策參與感、技能成長等問題, 提升人智系統的整體績效。

(5)人智共同學習。iSTS中的技術子系統(硬件、軟件、機器代理等)和人類代理(跨個人、組織和社會層面)之間存在復雜的相互作用, 跨越了傳統人和機器的物理界限。智能體(代理)是促進iSTS中社會和技術子系統之間交互的新資源, 這種交互會調整智能代理自身的行為(基于機器學習算法等), 也導致人類使用和期望模式的改變(社會學習); 同時, iSTS的社會和技術子系統包含人類、智能機器代理在不同層面上的自主權, 這些都體現出人智共同學習、共同成長、靈活性、自適應等能力特征。因此, iSTS強調智能系統的開發需要通過有效的設計和治理, 促使人智共同學習, 從而提高人智系統的整體能力(Heydari et al., 2019)。

(6)開放式生態系統。在非智能時代, 傳統STS中的分析單元通常是擁有相對獨立邊界的組織; 在智能時代, 物聯網智能網、智能城市、智能交通等智能生態系統存在于復雜的、相互依存的iSTS中, 智能技術的發展將極大地增加智能機器代理的數目, 可導致智能系統中潛在不確定性和不可預測性的增加, 人智共同學習和智能系統中潛在的輸出不確定性等自主化特征會帶來動態和模糊的iSTS邊界(van de Poel, 2020)。這些新特征既給智能系統開發帶來了創新設計的機遇, 也給系統設計、系統規則、倫理道德、文化價值觀等方面帶來了挑戰(Hodgson et al., 2013)。因此, 智能系統的設計開發需要從一個開放式的人類、技術、社會、組織生態系統的角度考慮。

3.3.2 應用分析

從iSTS角度看, 自動駕駛人機共駕研發不僅是一個工程技術項目, 還需從iSTS角度考慮許多非技術因素的影響。例如, 目前公眾對自動駕駛車的信任度并不高(Lee & Kolodge, 2018), 自動駕駛倫理研究主要集中在單車層面(Borenstein et al., 2019)。針對自動駕駛人機共駕的iSTS研究需要考慮智能自主化技術、設計標準、道路交通基礎設施、政策法規、倫理化設計、交通規則、智聯網/5G、企業投資回報、大眾信任度和接受度、駕駛員技能以及自動駕駛車技術認證等一系列因素。例如, 自動駕駛車企業以及它如何與其他iSTS成員之間的協同合作(包括制造商、監管機構、執法人員、消費者等); 事故風險預先分配方案的社會共識(如緊急下是優先保護乘客還是行人) (陳磊等, 2021); 自動駕駛與現行交通法規的協調; 如何將基于“有意義的人類控制” (meaningful human control)方法落實在系統設計中, 保證操作員擁有足夠情景意識, 能夠對智能系統做出有意識的、符合倫理規范的決策控制(Santoni, et al., 2018)。

可見, 自動駕駛人機共駕研究需要從“人智協同認知系統”和“人智協同認知生態系統”的范式取向擴展到“智能社會技術系統”的范式取向, 并且需要多學科及跨部門的合作, 從而研發出安全的、技術可行的、大眾信任和接受的自動駕駛車。

3.3.3 研究展望

為豐富iSTS概念框架, 今后研究需要考慮兩個方面。從方法論來說, iSTS框架強調跨學科的團隊合作, 基于iSTS的智能系統研發可以利用人因科學迭代式原型化和用戶測試等方法來逐步優化設計和構建(Norman & Stappers, 2015)。許為(2022c)根據iSTS在系統研發各階段中能夠提供貢獻的程度, 建議了一系列方法, 例如生態研究方法(Brown et al., 2017)、情境設計(Beyer & Holtzblatt, 1999)、人類學工作場所分析(Hughes et al., 1992) 以及縱向研究(Lieberman, 2009), 這些方法需要在今后研究中進一步優化和充實。另外, iSTS研究也需要創新方法。

從研究思路上說, iSTS研究可從以下幾方面考慮。首先, 在智能系統研發中分享“以人為中心AI”的理念, 這將有助于解決更多的人類和社會實際問題。其次, 需要充實iSTS理論。例如, 社會和智能技術子系統之間如何協同演化？人與智能體交互將如何影響社會和組織環境中的人類行為、組織變革、組織學習、組織認知等？如何有效地開展 iSTS集成設計和治理？最后, 開展基于iSTS的人因科學應用。例如, 如何將iSTS概念有效地應用在智能系統研發中？iSTS如何為倫理化AI治理做出貢獻(Chopra & Singh, 2018; Fiore, 2020)？

3.4 人因科學研究范式取向的跨時代演進

基于上述分析, 表1進一步概括了在不同的技術時代, 人因科學研究范式取向的演變。由表1可知: (1)從傳統人機系統理論出發, 人因科學的研究范式取向隨技術時代的發展逐步向微觀和宏觀方向拓展, 技術推動了人因科學研究范式取向的拓展, 例如, 計算機時代的認知信息加工理論, 基于腦活動技術的人類認知神經研究。(2)人因科學研究范式取向具有跨時代的生命力, 豐富了人因科學研究。例如, 機械時代推出的傳統“基于人機能力差異性和互補性的靜態化人機功能分配”范式取向仍然對智能時代的人因科學研究具有意義, 有助于通過對人機智能差異性和互補性的研究來實現系統設計中的動態化人機功能分配及人機混合智能。(3)研究范式取向呈現出跨學科的特征, 體現了作為交叉學科的人因科學本身發展的需求(如認知神經、AI技術)。(4)借助于研究范式取向的擴展, 人因科學的研究重點隨時代發展不斷地解決新興技術所帶來的人因新問題(如計算機、智能技術的人因問題)。因此, 人因科學研究范式取向的跨時代演進促進了人因科學的發展, 而人因科學研究本身也需要多樣化的研究范式取向。

進一步地, 在智能時代, 為解決智能技術的人因新問題, 我們提出了人智協同認知系統、人智協同認知生態系統、智能社會技術系統三種新研究范式取向, 圖5示意了這三種人因科學研究范式新取向之間的關系。從表1和圖5可知, 這三種新研究范式取向從本質上講仍然遵循人類認知信息加工這一人因科學的基本研究范式。類似于人類行為研究中的個體、群體、社會的研究范式取向, 針對智能時代人機關系(即人因科學的研究對象)的研究, 我們提出的這三種新范式取向體現了人因科學研究從“點” (單一人智協同認知系統內的人智組隊合作)到“面” (跨多重人智協同認知系統的人智協同認知生態系統)再到“體” (跨多重協同認知生態系統的宏觀社會技術系統環境)的新擴展, 這種擴展反映了智能時代對人因科學的新要求, 敦促智能時代的人因科學解決方案不應該僅限于孤立式的、基于“點”方案的傳統研究范式取向, 而應該為人類社會提供全方位的系統化解決方案。

表1 人因科學研究范式取向的跨時代演變

圖5 人因科學研究三個新范式取向之間的關系

4 智能時代人因科學研究的重點

如同研究范式取向的跨時代演變, 進入智能時代, 人因科學研究理念和對象的跨時代演變也帶來了人因科學研究重點跨時代轉移的新特征?；谖墨I綜述及我們近幾年的工作(例如, Xu, 2019, 2021; 許為, 2022, 2022a, 2022b, 2022c; 許為等, 2021; Xu et al., 2022; Ozmen Garibay et al., 2023; 許為, 2024; Xu & Gao, 2023), 針對人因科學研究重點跨時代轉移的新特征, 本文從以下三方面展望今后人因科學的研究重點。

4.1 從“人?計算機交互”到“人智交互”

“人?計算機交互” (人機交互)是PC時代形成的跨學科領域, 它研究人?非AI機器系統之間的交互。智能時代的機器過渡到基于AI技術的智能系統。如表2所例, AI技術帶來了一系列新特征以及相應的人因新問題。針對這些人因新問題的研究已經展開, 例如, 人?智能系統交互(Brill et al., 2018)、人?智能體交互(human-agent interaction) (Prada & Paiva, 2014)、人?自主化交互(human-autonomy interaction) (Cummings & Clare, 2015)、人?AI交互(Amershi et al., 2019)。盡管這些研究各有側重點, 但是它們都是研究人與智能“機器” (智能體)之間的交互, 這種交互的本質就是人?AI交互(簡稱人智交互), 為此, 許為、葛列眾和高在峰(2021)提倡將人智交互作為一個新型跨學科研究和應用領域來推動。圍繞智能系統跨時代轉移的新特征和相應的人因新問題, 表2概括了人因科學今后在“人智交互”領域的研究重點。

由表2可見, 與人?計算機(非智能系統)交互相比, 人智交互研究已經遠遠超出了現有人機交互的研究范圍。針對人智交互的研究也為人因科學研究提供了一個跨學科合作的平臺, 有助于拓展研究范式, 與其他學科共同開發“以人為中心”的智能系統。

4.2 從“傳統人機界面”到“智能人機界面”

人機界面是人因科學研究的重點之一。在基于非智能技術的傳統人機界面研究中(如用戶圖形界面), 基于“刺激?反應”式、精準輸入等人機交互方式, 人因科學通過有效的人機界面設計來達到易學、易用的用戶體驗(Farooq & Grudin, 2016; 許為, 2022a)。在智能時代, “傳統人機界面”過渡到基于智能技術的“智能人機界面”, 帶來了跨技術時代轉移的人機交互新特征。例如, 從“單向式”到“人機合作雙向式”界面, 從“可用性”到“可解釋AI”界面, 從“簡單屬性”到“情境化”交互界面, 從“精準輸入式”到“模糊推理式”交互界面, 從“交互式”到“合作式”認知界面(見表3)。人因科學需要解決的核心問題是通過這些新型的人機交互途徑, 解決相應的人因新問題, 從而為用戶提供更加自然有效、可解釋和可理解的用戶體驗。圍繞這些跨時代新特征和人因新問題, 針對人智組隊的研究開始展開, 表3概括了人因科學今后在“智能人機界面”領域的研究重點。

4.3 從“人機交互”到“人智組隊”

基于非智能技術的機器通過單向式、非分享的(即只有人針對機器的單方向信任、情境意識、控制等)、非智能互補(即只有人類智能)等方式來實現人機交互; 而基于智能自主化技術的人智組隊合作可以實現兩者之間的“雙向合作式”交互, 這種交互表現出兩者之間雙向主動的、分享的、互補的、自適應等特征(許為, 葛列眾, 2020)。因此, 傳統人機交互與人智組隊之間有著本質上的差別(Shively et al., 2018; Brill et al., 2018; Xu, 2021)。目前, 針對人智組隊的研究開始展開(NASEM, 2021; Caldwell et al., 2022; Xu & Dainoff, 2022), 表4概括了人因科學今后在人智組隊方面的研究重點。

表2 “人智交互”領域的人因科學研究重點

表3 “智能人機界面”領域的人因科學研究重點

續表

表4 人智組隊領域的人因科學研究重點

5 新研究范式取向對人因科學研究重點的意義

為進一步評價人因科學研究范式取向對今后人因科學研究的作用, 我們從表2～表4中選擇了智能時代人因科學今后的一些重點研究課題做進一步分析(見表5)。表5概括了這些研究重點與研究范式取向之間的關系, 其中, 表5列標題是人因科學研究中所需的多樣化范式取向, 表5行標題是今后人因科學研究的一些重要研究課題, 表5中的各個單元格概括了基于各種研究范式取向, 人因科學各項重要課題在研究中需要考慮的一系列重要研究問題。

由表5可知, 一方面, 智能機器行為、人智組隊合作、人機混合智能、倫理化AI、智能人機交互、可解釋AI等人因科學研究的重要課題都需要多樣化的研究范式取向來支持, 現有的人因科學研究范式取向(如神經人因學、工程心理學、人機交互)仍然起著重要的作用; 另一方面, 本文所提出的三種研究范式新取向, 拓展了智能時代人因科學研究的角度、方法和范圍, 有助于人因科學在智能時代開展全方位的研究, 提供完整系統化的人因科學解決方案。

表5 人因學科研究范式取向與研究重點的關系

由此可見, 如同人因科學研究范式取向的跨時代演變促進了人因科學的發展, 智能時代的人因科學研究同樣需要多樣化的研究范式取向, 而人因科學的研究也將進一步完善研究范式取向, 因此, 人因科學研究范式取向與研究重點互為影響, 互為促進。

6 總結

在人因科學這一新概念的語境下, 本文梳理了人因科學研究范式取向跨時代的拓展, 智能時代人因科學研究需要多樣化、創新的研究范式取向。為了應對這些挑戰以及研究的內在需求, 從人因科學研究范式取向的角度出發, 基于我們提出的人智協同認知系統、人智協同認知生態以及智能社會技術系統概念模型和框架, 我們提出了智能時代人因科學的三種新型研究范式取向, 這些研究范式新取向的提出對人因科學研究和應用具有重要意義。針對智能時代人因科學研究重點跨時代的轉移, 本文展望了“人智交互” “智能人機界面” “人智組隊合作”三方面的人因科學研究重點。我們認為, 多樣化、創新的人因科學研究范式取向有利于進一步開展人因科學研究, 人因科學研究范式取向與研究重點互為影響, 互為促進, 共同推動人因科學的發展。

Ali, M. I., Patel, P., Breslin, J. G., Harik, R., & Sheth, A. (2021). Cognitive digital twins for smart manufacturing.,(2), 96?100.

Allenby, B. R. (2021). World Wide Weird: Rise of the cognitive ecosystem.,(3), 34?45.

Amershi, S., Cakmak, M., Knox, W. B., & Kulesza, T. (2014). Power to the people: The role of humans in interactive machine learning.,(4), 105?120.

Amershi, S., Weld, D., Vorvoreanu, M., Fourney, A., Nushi, B., Collisson, P., ... Horvitz, E. (2019, May). Guidelines for human-AI interaction. In(pp. 1?13). Association for Computing Machinery.

André, E., Paiva, A., Shah, J., & ?abanovic, S. (2020).. Report presented at the Dagstuhl Seminar, Schloss Dagstuhl- Leibniz-Zentrum fuer Informatik, Germany.

Asatiani, A., Malo, P., Nagb?l, P. R., Penttinen, E., Rinta-Kahila, T., & Salovaara, A. (2021). Sociotechnical envelopment of artificial intelligence: An approach to organizational deployment of inscrutable artificial intelligence systems.,(2), 8.

Badham, R., Clegg, C., & Wall, T. (2000). Socio-technical theory. In: Karwowski, W. (Ed.),. John Wiley, New York, NY.

Bansal, G., Nushi, B., Kamar, E., Lasecki, W. S., Weld, D. S., & Horvitz, E. (2019). Beyond accuracy: The role of mental models in human-AI team performance.(1), 2?11.

Baxter, G., & Sommerville, I. (2011). Socio-technical systems: From design methods to systems engineering.,(1), 4?17.

Bendell, R., Williams, J., Fiore, S. M., & Jentsch, F. (2021, September). Supporting social interactions in human-AI teams: Profiling human teammates from sparse data. In(Vol. 65, No. 1, pp. 665?669). Sage CA: Los Angeles, CA: SAGE Publications.

Biondi, F., Alvarez, I., & Jeong, K. A. (2019). Human-system cooperation in automated driving.,(11), 917?918.

Boni, M. (2021). The ethical dimension of human–artificial intelligence collaboration.,(2), 182?90.

Borenstein, J., Herkert, J. R., & Miller, K. W. (2019). Self-driving cars and engineering ethics: The need for a system level analysis.(2), 383?398.

Brill, J. C., Cummings, M. L., Evans III, A. W., Hancock, P. A., Lyons, J. B., & Oden, K. (2018). Navigating the advent of human-machine teaming. In(Vol. 62, No. 1, pp. 455?459). Sage CA: Los Angeles, CA: SAGE Publications.

Brown, B., B?dker, S., & H??k, K. (2017). Does HCI scale? Scale hacking and the relevance of HCI.,(5), 28?33.

Caldwell, S., Sweetser, P., O’Donnell, N., Knight, M. J., Aitchison, M., Gedeon, T., ... Conroy, D. (2022). An agile new research framework for hybrid human-AI teaming: Trust, transparency, and transferability.,(3), 1?36.

Chen, L., Wang, B. C., Huang, S. H., Zhang, J. Y., Guo, R., & Lu, J. Q. (2021). Artificial intelligence ethics guidelines and governance system: Current status and strategic suggestions.(6), 193?200.

[陳磊, 王柏村, 黃思翰, 張吉豫, 郭銳, 魯俊群. (2021). 人工智能倫理準則與治理體系：發展現狀和戰略建議.(6), 193?200.]

Chopra, A. K., & Singh, M. P. (2018, December). Sociotechnical systems and ethics in the large. In(pp. 48?53), Association for Computing Machinery.

Cummings, M. L., & Clare, A. S. (2015). Holistic modelling for human-autonomous system interaction.,(3), 214?231.

Dehais, F., Karwowski, W., & Ayaz, H. (2020). Brain at work and in everyday life as the next frontier: Grand field challenges for neuroergonomics.,, 583733?583745.

Demir, M., Likens, A. D., Cooke, N. J., Amazeen, P. G., & McNeese, N. J. (2018). Team coordination and effectiveness in human-autonomy teaming.,(2), 150?159.

D?ppner, D. A., Derckx, P., & Schoder, D. (2019). Symbiotic co-evolution in collaborative human-machine decision making: Exploration of a multi-year design science research project in the Air Cargo Industry. In(pp. 125?131). Computer Society Press.

Dorri, A., Kanhere, S. S., & Jurdak, R. (2018). Multi-agent systems: A survey.,, 28573?28593.

Eason, K. (2008). Sociotechnical systems theory in the 21st century: Another half-filled glass?(pp. 123?134), Desmond Graves, Broughton.

Ehsan, U., & Riedl, M. O. (2020). Human-centered explainable ai: Towards a reflective sociotechnical approach. In(pp. 449?466). Springer International Publishing.

Ehsan, U., Tambwekar, P., Chan, L., Harrison, B., & Riedl, M. O. (2019). Automated rationale generation: A technique for explainable AI and its effects on human perceptions. In(pp. 263?274). Association for Computing Machinery.

Ehsan, U., Wintersberger, P., Liao, Q. V., Mara, M., Streit, M., Wachter, S., ... Riedl, M. O. (2021). Operationalizing human-centered perspectives in explainable AI. In(pp. 1?6). Association for Computing Machinery.

Endsley, M. R. (1995). Toward a theory of situation awareness in dynamic systems.(1), 32–64.

Endsley, M. R. (2015). Situation awareness misconceptions and misunderstandings.,(1), 4?32.

Endsley, M. R. (2018). Situation awareness in future autonomous vehicles: Beware of the unexpected.,. Springer.

Farooq, U., & Grudin, J. (2016). Human computer integration.(6), 27?32.

Fellous, J. M., Sapiro, G., Rossi, A., Mayberg, H. S., & Ferrante, M. (2019). Explainable artificial intelligence for neuroscience: Behavioral neurostimulation., 1346. doi: 10.3389/fnins.2019.01346

Finstad, K., Xu, W., Kapoor, S., Canakapalli, S., & Gladding, J. (2009). Bridging the gaps between enterprise software and end users.,(2), 10?14.

Fiore, E. (2020). Ethics of technology and design ethics in socio-technical systems: Investigating the role of the designer.,(1), 13?19.

Fridman, L. (2018).. https://arxiv.org/pdf/1810.01835.pdf.

Gao, Q., Xu, W., Shen, M., Gao, Z. (2023).. https://arxiv.org/abs/ 2308.16785.

Gao, Z. F., Li, W. M., Liang, J. W., Pan, H. X., Xu, W., & Shen, M. W. (2021). Trust in automated vehicles.(11), 1?12.

[高在峰, 李文敏, 梁佳文, 潘晗希, 許為, 沈模衛. (2021). 自動駕駛車中的人機信任.,(11), 1?12.]

Gardner, D., Mark, L., Dainoff, M. & Xu, W. (1995). Considerations for linking seatpan and backrest angles.(2), 153?165.

Ge, L. Z., & Xu, W. (Eds). (2020).China Renmin University Press.

[葛列眾, 許為. (主編). (2020).. 中國人民大學出版社.]

Ge, L. Z., Xu, W., & Song, X. (Eds). (2022).(2nd ed.)China Renmin University Press.

[葛列眾, 許為, 宋曉蕾. (主編). (2022).(第2版)中國人民大學出版社.]

Goodwin, G. F., Blacksmith, N., & Coats, M. R. (2018). The science of teams in the military: Contributions from over 60 years of research.(4), 322.

Google PAIR. (2019).. Retrieved Nov. 23, 2023 from https://pair.withgoogle.com.

Guo, B., & Yu, Z. W. (2021). Crowd intelligence with the deep fusion of human, machine, and IoT.(2), 35?40.

[郭斌, 於志文. (2021). 人機物融合群智計算.,(2), 35?40.]

Herrmann, T., Schmidt, A., & Degeling, M. (2018, June). From interaction to intervention: An approach for keeping humans in control in the context of socio-technical systems. In(pp. 101?110). Tallinn, Estonia.

Heydari, B., Szajnfarber, Z., Panchal, J., Cardin, M. A., H?ltt?-Otto, K., Kremer, G. E., & Chen, W. (2019). Analysis and design of sociotechnical systems.(11), 118001.

Hodgson, A., Siemieniuch, C. E., & Hubbard, E. M. (2013). Culture and the safety of complex automated sociotechnical systems.,(6), 608?619.

Hollnagel, E., & Woods, D. D. (2005).London: CRC Press.

Hollnagel, E., Woods, D., & Leveson, N. (Eds.). (2006).. Williston, VT: Ashgate.

Holmquist, L. E. (2017). Intelligence on tap: Artificial intelligence as a new design material.,(4), 28?33.

Hu, Y. D., Sun, X. H., Zhang, H. X., Zhang, S. C., & Yi, S. Q. (2020). Interaction design in human-in-the-loop hybrid intelligence.,(18), 38?47.

[胡源達, 孫效華, 張何辛, 張繩宸, 易思琦. (2020). 支持人在環路混合智能的交互設計研究.,(18), 38?47.]

Huang, Y., Poderi, G., ??epanovi?, S., Hasselqvist, H., Warnier, M., & Brazier, F. (2019). Embedding internet-of-things in large-scale socio-technical systems: A community-oriented design in future smart grids.(pp. 125?150). Cham: Springer.

Hughes, J. A., Randall, D., Shapiro, D. (1992). Faltering from ethnography to design. In:(pp. 115–122). ACM Press, New York, NY.

IDC (International Data Corporation). (2020).. 2023-11-10取自https://www.huawei.com/minisite/building-an-intelligent-world-together/assets/doc/White_Paper_on_Huawei_Intelligent_Twins.pdf

IEEE (The Institute of Electrical and Electronics Engineers). (2019).The Institute of Electrical and Electronics Engineers (IEEE), Incorporated.

ISO (International Organization for Standardization). (2020).Retrieved Nov. 10, 2023 from https://www.iso.org/standard/ 76577.html.

Kaber, D. B. (2018). A conceptual framework of autonomous and automated agents.,(4), 406?430.

Kaluarachchi, T., Reis, A., & Nanayakkara, S. (2021). A review of recent deep learning approaches in human- centered machine learning.,(7), 2514.

Le Page, C., & Bousquet, F. (2004). Multi-agent simulations and ecosystem management: A review.,(3-4), 313?332.

Lee, J. D., & Kolodge, K. (2018). Understanding attitudes towards self-driving vehicles: Quantitative analysis of qualitative data.,(1), doi:10.1177/ 1541931218621319

Leibo, J. Z., d'Autume, C. D. M., Zoran, D., Amos, D., Beattie, C., Anderson, K., ... Botvinick, M. M. (2018). Psychlab: A psychology laboratory for deep reinforcement learning agents.:1801.08116.

Li, F. F. (2018). How to make A.I. that’s good for people.. Retrieved Nov. 10, 2023 from https://www.nytimes.com/2018/03/07/opinion/artificial-intelligence-human.html

Lieberman, H. (2009). User interface goals, AI opportunities.(4), 16?22.

Liu, W. (2023).. Beijing: Science Press.

[劉偉. (2023).. 北京: 科學出版社]

Madhavan, P., & Wiegmann, D. A. (2007). Similarities and di?erences between human-human and human-automation trust: An integrative review.(4), 277–301.

Madni, A. M., & Madni, C. C. (2018). Architectural framework for exploring adaptive human-machine teaming options in simulated dynamic environments.(4), 44(2018).

Mcgregor, S. (2022).. Retrieved Nov. 10, 2023 from https://incidentdatabase.ai/.

Mohanty, S., & Vyas, S. (2018). Putting it all together: Toward a human-machine collaborative ecosystem. In S. Mohanty& S. Vyas (Eds.),(pp. 215–229). Apress.

Mou, Y., & Xu, K. (2017). The media inequality: Comparing the initial human-human and human-AI social interactions.,(3), 432?440.

Mueller, S. T., Hoffman, R. R., Clancey, W., Emrey, A., & Klein, G. (2019). Explanation in human-AI systems: A literature meta-review, synopsis of key ideas and publications, and bibliography for explainable AI.1902.01876.

National Academies of Sciences, Engineering, and Medicine (NASEM). (2021).Retrieved Nov. 10, 2023 from https:// nap.nationalacademies.org/catalog/26355/human-ai-teaming-state-of-the-art-and-research-needs

Neftci, E. O., & Averbeck, B. B. (2019). Reinforcement learning in artificial and biological systems.,(3), 133?143.

Nielsen, J. (1994).. Morgan Kaufmann.

Norman, D. A., & Draper, S. W. (1986).. CRC Press.

Norman, D. A., & Stappers, P. J. (2015). DesignX: complex sociotechnical systems.,(2), 83?106.

Norman, K., & Kirakowski, J. (Eds.). (2017).. John Wiley & Sons.

NTSB. (2017). Collision between a car operating with automated vehicle control systems and a tractor-semitrailor truck near Williston, Florida, May 7, 2016., by National Transportation Safety Board (NTSB) 2017, Washington, DC.

Parasuraman, R., & Rizzo, M. (Eds.). (2006).(Vol. 3). Oxford University Press.

Prada, R., & Paiva, A. (2014). Human-agent interaction: Challenges for bringing humans and agents together. In(pp. 1?10), Association for Computing Machinery.

Rahwan, I., Cebrian, M., Obradovich, N., Bongard, J., Bonnefon, J.-F., Breazeal, C., ... Wellman, M. (2019). Machine behaviour.(7753), 477?486.

Roth, E. M., Sushereba, C., Militello, L. G., Diiulio, J., & Ernst, K. (2019). Function allocation considerations in the era of human autonomy teaming.(4), 199–220.

Ozmen Garibay, O., Winslow, B., Andolina, S., Antona, M., Bodenschatz, A., Coursaris, C., ... Xu, W. (2023). Six human-centered artificial intelligence grand challenges.,(3), 391?437.

Salas, E., Cooke, N. J., & Rosen, M. A. (2008). On teams, teamwork, and team performance: Discoveries and developments.,(3), 540?547.

Sanders, M. S., & McCormick, E. J. (1993).(7th ed.). McGraw-Hill Education

Santoni de Sio, F., & van den Hoven, J. (2018). Meaningful human control over autonomous systems: A philosophical account.(2), 15.

Schneeberger, T. (2018). Transfer of social human-human interaction to social human-agent interaction. In(pp. 1778?1780), Association for Computing Machinery.

Schoenherr, J. (2022).. Routledge.

Schoonderwoerd, T. A., van Zoelen, E. M., van den Bosch, K., & Neerincx, M. A. (2022). Design patterns for human-AI co-learning: A wizard-of-Oz evaluation in an urban-search- and-rescue task.,(8), 102831.

Shi, Y. C. (2021). Metaverse needs a breakthrough in human- computer interaction.(1), 26?33.

[史元春. (2021). 元宇宙需要人機交互的突破.(1), 26?33.]

Shively, R. J., Lachter, J, Brandt, S. L., Matessa, M., Battiste, V. & Johnson, W. W. (2018). Why human-autonomy teaming?, May 2018, Orlando, FL.

Society of Automotive Engineers (SAE). (2019). Taxonomy and definitions for terms related to driving automation systems for on-road motor vehicles.Retrieved Nov. 10, 2023 from https://www.sae.org/ standards/content/j3016_202104/

Stahl, B. C. (2021).(p. 124). Springer Nature.

Steghofer, J.-P., Diaconescu, A., Marsh, S., & Pitt, J. (2017). The next generation of socio-technical systems: Realizing the potential, protecting the value [introduction].,(3), 46?47.

Stevens, R. H., & Galloway, T. L. (2019). Teaching machines to recognize neurodynamic correlates of team and team member uncertainty.,(4), 310?327.

Sun, X. H., Wu, C. X., Zhang, l., & Qu, W. N. (2011). The role, status, and current development of engineering psychology.(6), 650?660.

[孫向紅, 吳昌旭, 張亮, 瞿煒娜. (2011). 工程心理學作用、地位和進展.(6), 650?660. ]

Tan, Z. Y., Dai, N. Y., Zhang, R. F., & Dai, K. Y. (2020). Overview and perspectives on human-computer interaction in intelligent and connected vehicles.(10), 2615?2632.

[譚征宇, 戴寧一, 張瑞佛, 戴柯穎. (2020). 智能網聯汽車人機交互研究現狀及展望.(10) , 2615?2632.]

van der Bosch, K, Schoonderwoerd, T., Blankendaal, R., & Neerincx, M. (2019). Six challenges for human-AI Co-learning. In(pp. 572?589). Springer Internatoinal Publishing.

Van de Poel, I. (2020). Embedding values in artificial intelligence (AI) systems.(3), 385?409.

Waterson, P., Robertson, M. M., Cooke, N. J., Militello, L., Roth, E., & Stanton, N. A. (2015). Defining the methodological challenges and opportunities for an effective science of sociotechnical systems and safety.,(4), 565–599.

Werfel, J., Petersen, K., & Nagpal, R. (2014). Designing collective behavior in a termite-inspired robot construction team.,(6172), 754?758.

Wesche, J. S., & Sonderegger, A. (2019). When computers take the lead: The automation of leadership.,(12), 197?209.

Wickens, C. D., Helton, W. S., Hollands, J. G., & Banbury, S. (2021).. Routledge.

Wooldridge, M., & Jennings, N. R. (1995). Intelligent agent: Theory and practice.,(2), 115?152.

Wu, Z. (2020). Ecological transformation and man-machine symbiosis: A study on the relationship between human and artificial intelligence. In(1), 37, MDPI.

Xie, L., & Xie, X. (2021). General situational intelligence.(2), 8?9.

[謝磊, 謝幸. (2021). 泛在情境智能.,(2), 8?9.]

Xu, W. (2003). User-Centered Design approach: Opportunities and challenges of human factors practices in China.(4), 8?11.

[許為. (2003). 以用戶為中心設計：人機工效學的機遇和挑戰.(4), 8?11.]

Xu, W. (2005). Recent trend of research and applications on human-computer interaction.(4), 37?40.

[許為. (2005). 人-計算機交互作用研究和應用新思路的探討.1(4), 37?40.]

Xu, W. (2007). Identifying problems and generating recommendations for enhancing complex systems: Applying the abstraction hierarchy framework as an analytical tool.,(6), 975?994.

Xu, W. (2012). User experience design: Beyond user interface design and usability. In I. Nunes(Ed.),(Chapter 8). InTech.

Xu, W. (2014). Enhanced ergonomics approaches for product design: A user experience ecosystem perspective and case studies.,(1), 34?51.

Xu, W. (2017). User-centered design (Ⅱ): New challenges and new opportunities.(1), 82?86.

[許為. (2017). 再論以用戶為中心的設計: 新挑戰和新機遇.(1), 82?86.]

Xu, W. (2019). Toward human-centered AI: A perspective from human-computer interaction.,(4), 42?46.

Xu, W. (2019a). User-centered design (Ⅲ): Methods for user experience and innovative design in the intelligent era.(1), 3?17.

[許為. (2019a). 三論以用戶為中心的設計：智能時代的用戶體驗和創新設計.(1), 3?17.]

Xu, W. (2019b). User-centered design (Ⅳ): Human-centered artificial intelligence.(4), 291?305.

[許為. (2019b). 四論以用戶為中心的設計: 以人為中心的人工智能.,(4), 291?305.]

Xu, W. (2020). User-Centered Design (Ⅴ): From automation to the autonomy and autonomous vehicles in the intelligence era.(2), 108?128.

[許為. (2020). 五論以用戶為中心的設計: 從自動化到智能時代的自主化以及自動駕駛車.,(2), 108?128.]

Xu, W. (2021). From automation to autonomy and autonomous vehicles: Challenges and opportunities for human-computer interaction.,(1), 48?53.

Xu, W. (2022).. https://arxiv.org/abs/2301.00987.

Xu, W. (2022a). User-centered design (VI): Human factors engineering approaches for intelligent human-computer interaction.(3), 191?209.

[許為. (2022a). 六論以用戶為中心的設計: 智能人機交互的人因工程途徑.(3), 191?209.]

Xu, W. (2022b). User-centered design (Ⅶ): From automated to intelligent flight deck.(4), 291?313.

[許為. (2022b). 七論以用戶為中心的設計: 從自動化到智能化飛機駕駛艙.(4), 291?313.]

Xu, W. (2022c). User-Centered Design (Ⅷ): A new framework of intelligent sociotechnical systems and prospects for future human factors research.(5), 387?401.

[許為. (2022c). 八論以用戶為中心的設計: 一個智能社會技術系統新框架及人因工程研究展望.(5), 387?401]

Xu, W. (2024). User-centered design (IX)：A "user experience 3.0" paradigm framework in the intelligence era.(2), 99?110.

[許為. (2024). 九論以用戶為中心的設計: 智能時代的“用戶體驗3.0”范式.(2), 99?110.

Xu, W., & Chen, Y. (2012). New progress and applications of human factors in the research and development of civil flight deck., (6), 18?21.

[許為, 陳勇. (2012). 人機工效學在民用客機研發中應用的新進展及建議．, (6), 18?21.]

Xu, W., & Chen, Y. (2013). Challenges and strategies of human factors airworthiness certification for civil aircraft., (2), 24?30.

[許為, 陳勇. (2013). 民用客機人機工效學適航認證及對策., (2), 24?30.]

Xu, W., & Chen, Y. (2014). Reducing design-induced pilot error in civil flight deck: Perspectives of airworthiness certification and design., (3), 5?11.

[許為, 陳勇. (2014). 從駕駛艙設計和適航來減少由設計引發的飛行員人為差錯的挑戰和途徑., (3), 5?11.]

Xu, W., Chen, Y., Dong, W. J., Dong, D. Y., & Ge, L. Z. (2021). Status and prospect of human factors engineering research on single pilot operations for large commercial aircraft.,(1), 1?18.

[許為, 陳勇, 董文俊, 董大勇, 葛列眾. (2021). 大型商用飛機單一飛行員駕駛的人因工程研究進展與展望．(1), 1?18.]

Xu, W., & Dainoff, M. (2023). Enabling human-centered AI: A new junction and shared journey between AI and HCI communities.(1), 42-47.

Xu, W., Dainoff, M., Ge, L., & Gao, Z. (2022). From human- computer interaction to human-AI interaction: New challengesand opportunities for enabling human-centered AI.,(3), 494?518.

Xu, W., Dainoff, M. J., & Mark, L. S. (1999). Facilitate complex search tasks in hypertext by externalizing functional properties of a work domain.,(3), 201?229.

Xu, W., Furie, D., Mahabhaleshwar, M., Suresh, B., & Chouhan, H. (2019). Applications of an interaction, process, integration and intelligence (IPII) design approach for ergonomics solutions.(7), 954?980.

Xu, W. & Gao, Z. (2023).. https://arxiv.org/abs/ 2307.03913

Xu, W., & Ge, L. Z. (2018). New trends in human factors.(9), 1521?1534.

[許為, 葛列眾. (2018). 人因學發展的新取向.,(9), 1521?1534.]

Xu, W., & Ge, L. Z. (2020). Engineering psychology in the era of artificial intelligence.(9), 1409?1425.

[許為, 葛列眾. (2020). 智能時代的工程心理學.,(9), 1409?1425. ]

Xu, W., Ge, L. Z., & Gao, Z. F. (2021). Human-AI interaction: An emerging interdisciplinary domain for enabling human-centered AI.(4), 604?621.

[許為, 葛列眾, 高在峰. (2021). 人-AI交互: 實現“以人為中心 AI”理念的跨學科新領域.,(4), 604?621.]

Xu, W. & Zhu, Z. (1990). The effects of ambient illumination and target luminance on colour coding in a CRT display.(7), 933?944.

Xu, W., & Zhu, Z. X. (1989). Effects of ambient illuminant intensity, color temperature and target luminance on color coding in a CRT display.,(4), 269?277.

[許為, 朱祖祥. (1989). 環境照明強度、色溫和目標亮度對CRT顯示器顏色編碼的影響.,(4), 269?277.]

Yi, X., Yu, C., & Shi, Y. C. (2018). Bayesian method for intent prediction in pervasive computing environments.(4), 419?432.

[易鑫, 喻純, 史元春. (2018). 普適計算環境中用戶意圖推理的Bayes方法.(4), 419?432.

Zanzotto, F. M. (2019). Human-in-the-loop artificial intelligence.,(2), 243?252.

Zheng, N. N., Liu, Z. Y., Ren, P. J., Ma, Y. Q., Chen, S. T., Yu, S. Y., ... Wang, F. Y. (2017). Hybrid-augmented intelligence: Collaboration and cognition.,(2), 153?179.

Zhu, Y., Gao, T., Fan, L., Huang, S., Edmonds, M., Liu, H., ... Zhu, S. C. (2020). Dark, beyond deep: A paradigm shift to cognitive ai with humanlike common sense.,(3), 310?345.

Zong, Z. F., Dai, C. H., & Zhang, D. (2021). Human-machine interaction technology of intelligent vehicles: Current development trends and future directions.(6), 214.

[宗長富, 代昌華, 張東. (2021). 智能汽車的人機共駕技術研究現狀和發展趨勢.,(6), 214.]

New research paradigms and agenda of human factors science in the intelligence era

XU Wei1, GAO Zaifeng2, GE Liezhong1

(1Center for Psychological Sciences;2Department of Psychology, Zhejiang University, Hangzhou 310058, China)

This paper first proposes the innovative concept of “human factors science” to characterize engineering psychology, human factors engineering, ergonomics, human-computer interaction, and other similar fields. Although the perspectives in these fields differ, they share a common goal: optimizing the human-machine relationship by applying a “human-centered design” approach. AI technology has brought in new characteristics, and our recent research reveals that the human-machine relationship presents a trans-era evolution from “human-machine interaction” to “human-AI teaming.” These changes have raised questions and challenges for human factors science, compelling us to re-examine current research paradigms and agendas.

In this context, this paper reviews and discusses the implications of the following three conceptual models and frameworks that we recently proposed to enrich the research paradigms for human factors science. (1) human-AI joint cognitive systems: this model differs from the traditional human-computer interaction paradigm and regards an intelligent system as a cognitive agent with a certain level of cognitive capabilities. Thus, a human-AI system can be characterized as a joint cognitive system in which two cognitive agents (human and intelligent agents) work as teammates for collaboration. (2) human-AI joint cognitive ecosystems: an intelligent ecosystem with multiple human-AI systems can be represented as a human-AI joint cognitive ecosystem. The overall system performance of the intelligent ecosystem depends on optimal collaboration and design across the multiple human-AI systems. (3) intelligent sociotechnical systems (iSTS): human-AI systems are designed, developed, and deployed in an iSTS environment. From a macro perspective, iSTS focuses on the interdependency between the technical and social subsystems. The successful design, development, and deployment of a human-AI system within an iSTS environment depends on the synergistic optimization between the two subsystems.

This paper further enhances these frameworks from the research paradigm perspective. We propose three new research paradigms for human factors science in the intelligence ear: human-AI joint cognitive systems, human-AI joint cognitive ecosystems, and intelligent sociotechnical systems, enabling comprehensive human factors solutions for AI-based intelligent systems. Further analyses show that the three new research paradigms will benefit future research in human factors science. Furthermore, this paper looks forward to the future research agenda of human factors science from three aspects: “human-AI interaction,” “intelligent human-machine interface,” and “human-AI teaming.” We believe the proposed research paradigms and the future research agenda will mutually promote each other, further advancing human factors science in the intelligence era.

Human factors science, engineering psychology, human factors engineering, research paradigm, human- AI teaming

2023-09-14

許為, E-mail: xuwei11@zju.edu.cn; 高在峰, E-mail: zaifengg@zju.edu.cn

B849