?

認知神經科學視角下的數字閱讀認知機制研究進展

2023-12-21 10:58劉葉萍袁小群
圖書情報知識 2023年6期
關鍵詞:語義數字用戶

劉葉萍 袁小群

1 引言

數字閱讀本質是一個對承載于數字設備(臺式電腦、平板電腦、手機、電子閱讀器等)的數字材料(文字、圖片、音頻、視頻等)進行感知和理解的認知加工過程[1]。透過用戶認知和神經層面,對數字閱讀進行研究,不僅能充分認識閱讀行為背后的心理邏輯和思維方式,更能通過分析影響行為和認知發生及變化的神經基礎,從根源上尋求引導和塑造大腦參與的有效途徑,從而滿足用戶需求,推動閱讀發展。

囿于訪談、問卷、行為實驗等研究手段的局限性,以往對數字閱讀的研究停留于描述外部現象或數據間的相關性,難以突破用戶“黑箱”。認知神經科學(Cognitive Neuroscience)于19世紀70年代在認知心理學和神經科學發展的基礎上演化而來,旨在采用功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)、功能性近紅外光譜成像(functional Near-Infrared Spectroscopy,fNIRS)、腦電圖(Electroencephalography,EEG)、腦磁圖(Magnetoencephalography,MEG)、正電子發射斷層掃描(Positron Emission Tomography,PET)、事件相關電位(Event-Related Potential,ERP)、事件相關震蕩(Event-Related Oscillation,ERO)、眼動追蹤(Eye Tracking,ET)等技術,從神經層面研究注意、決策、意義、語言等的形成及規律相關問題[2]。近年來,隨著認知神經技術的成熟應用,數字閱讀研究手段得到擴展,學者們對閱讀過程中大腦激活區域、腦電反應、眼動模式進行研究,形成一批觸及內部本質和因果關系的成果。但相關研究總體較為零散,有待進行系統梳理和總結,以便形成對數字閱讀認知過程中各項要素、結構及功能的完整揭示,這對于數字閱讀未來研究的理論創新和科學實踐具有重要意義。

國內已有對認知神經領域數字閱讀研究的概述。諸廉從體驗、效果、過程、機制四個方面回顧已有研究,并構建基于認知神經工具的數字閱讀研究框架[3]。但該文著眼于方法和思路層面,無意梳理研究中涉及的神經指標,更未透過神經基礎提煉認知機制?;诖?,本文著重對已有研究進行歸納梳理,構建并詳細闡釋數字閱讀認知機制,具體回答以下兩個問題:其一,從用戶大腦活動出發,應當如何構建數字閱讀認知機制框架模型,以清晰合理地反映數字閱讀心理活動和認知功能?其二,已有認知神經領域前沿成果如何為科學回答“用戶如何閱讀”的問題提供支持證據,進而打開用戶“黑箱”,推動數字閱讀研究及實踐的突破性發展?

2 研究方法

2.1 文獻來源

本文透過認知神經領域研究來構建并解析數字閱讀認知機制。為全面準確搜集相關文獻,在初步調研后,形成以下檢索策略:第一,選取Web of Science(WoS)和中國知網(CNKI)數據庫分別檢索國內外文獻;第二,起始時間不限,檢索時間截至2022年11月16日;第三,以主題為檢索路徑,構建中文檢索式“SU=('數字閱讀'+'屏幕閱讀'+'在線閱讀'+'網絡閱讀'+'移動閱讀'+'手機閱讀'+'電子閱讀'+'新媒體閱讀')*('認知神經科學'+'fMRI'+'fNIRS'+'EEG'+'MEG'+'ERP'+'ERO'+'PET'+'眼 動')”,英 文 檢 索 式“TS=(((digital reading)or(screen reading)or(online reading)or(internet reading)or(mobile reading)or(e-book reading)or(hypertext reading))and((cognitive neuroscience)or(fMRI)or(fNIRS)or(EEG)or(MEG)or(ERP)or(ERO)or(PET)or(Eye-Tracking)or(Eye-Movement)))”;第四,篩選并剔除與主題無關的文獻,最終獲得46篇中文文獻和201篇英文文獻,作為本文調研范圍。

2.2 框架模型

數字閱讀認知機制涉及哪些心理活動和運行規律?認知心理學對閱讀過程的描述可提供參考。Reichle集成注意機制和視覺處理方面的理論因素,提出E-Z讀者模型,將閱讀描述為字詞注意、字詞識別、眼跳控制三個階段[4]。Mayer等則借鑒雙重編碼、認知負荷和建構主義等語義學理論,提出多媒體學習認知理論,將認知加工過程歸納為感知獲取、組織理解、關聯集成、整合提取四個階段[5]。Nola的建構主義學習理論進一步強調人們通過反思來探索并建構新的知識和理解,以提升學習的意義和價值[6],這尤其符合數字時代閱讀主體的能動性和參與性特征。綜上,本文考察用戶在數字環境下逐一觸發并逐步強化的閱讀行為和認知特征,提煉注意吸引、識別聚焦、關聯推理、學習建構四個階段,并以各階段心理活動及其相互關系為邏輯主線,對認知神經領域研究所涉技術和指標進行拆解和歸類,構建數字閱讀認知機制框架模型(圖1)。

圖1 認知神經科學視角下的數字閱讀認知機制框架模型Fig.1 The Framework Model of Digital Reading Cognitive Mechanism from the Perspective of Cognitive Neuroscience

從調研的247篇文獻來看,已有研究主要采用fMRI、ERP、ET技術分析數字閱讀認知過程。其中,fMRI從空間維度反映不同階段大腦活躍區域和功能連接,提示閱讀材料、心理和行為間的作用關系;ERP從時間維度反映各階段神經活動誘發的腦電信號變化,輔助測量大腦對信息的處理過程和反應結果;ET通過跟蹤眼球運動,研究與瀏覽、導航、聚焦等相關的視覺認知情況。

3 注意吸引:捕捉多模態感知特征,形成快速定向

數字閱讀的第一環節是注意吸引,用戶捕捉來自圖文音像的多模態信息,提取感知特征并做出積極反應。面對動態分布、多元無序的數字信息,大腦會依據可用性和優先級來分配注意力資源,快速篩選和過濾并形成定向[7],體現出數字閱讀的明確性特征。因此,如何有效傳遞感知特征以吸引注意力指向,便于觸發后續心理活動,成為認知神經領域數字閱讀研究的重要議題。

fMRI研究驗證了多媒體學習認知理論提出的雙通道假設,數字閱讀中的視頻和音頻實現了視覺和聽覺的激活與整合,并分別通過相應的神經通路對刺激信息進行攝入處理。其中,聽覺分辨依賴耳蝸對頻率信息的提取,在內側膝狀體(MGN)和聽覺皮層進行加工[8],并等待進一步語音組裝。聽覺信號的攝入與視覺信號處理存在交互作用。視覺信息處理起源于初級視覺皮層(V1),通過兩條并行路徑完成:一是經V2、V4及下額葉皮層延至腹外側前額葉皮層(vlPFC)的腹側通路,又稱“內容通路”,處理形狀和顏色信息,并將單詞的聲音結構映射到相應的語義表示上[8];二是經V2、V5及后頂葉皮層到達背外側前額葉皮層(dlPFC)的背側通路,又稱“空間通路”,負責運動識別和空間位置信息傳遞,并進行語音代碼的檢索組裝及語義關聯,將聲音的知覺表示映射到相應的行為動作上,實現與特定區域視覺引導和方位導航相關的注意功能,并形成工作記憶流程[9]。用戶的首次感知體驗能夠引發更強的心理反應,并通過作用于獎賞系統,可靠地預測后續選擇傾向和說服效果。

ERP測度的beta波和失匹配負波(Mismatch Negativity,MMN)能夠表征閱讀材料誘發的注意過程。beta波的變化與注意力密切相關,其中,頻率范圍在12-15Hz的感覺運動節律(Sensorimotor Rhythms,SMR)成分增強,代表感知靈敏度和一般注意效果提升,15-18Hz的beta1成分則與記憶喚醒和反應速度呈正相關[10]。研究通過beta波差異比較了人們在紙質、臺式電腦、平板電腦三種載體上閱讀相同內容時的注意水平,紙張和平板引發的beta波更高,意味著更多認知資源的投入和喚醒狀態的保持,尤其平板在情感吸引和后期記憶表現方面更具優勢;電腦網站的beta波最低,引發的刺激和情緒反應也較少,代表更為輕松和專注的狀態[11]。MMN是出現在刺激后100-250ms左右的負電位,代表刺激序列中重復模式發生改變(偏差刺激)而導致的預期違背,能夠反映大腦在非注意條件下的信息自動加工和早期處理,并反推用戶閱讀中的注意程度及認知方式是否均衡[12]。

通過對眼球運動的精確描述,可表明大腦正在感知和參與的對象,并反映材料如何吸引注意和影響閱讀行為[13]。ET研究顯示,用戶通過注視、眼跳等多種方式來將閱讀目標置于中央凹區域,以形成便于感知的像。首次注視時間是閱讀時落在某個興趣區內首個注視點的持續時間,代表目標的注意吸引強度或搜索難度,可提示閱讀場景或視覺信息的某些方面如何被優先提取[14]。兩個注視點間隔的時間和跳動的距離分別是眼跳時間和眼跳距離,是反映用戶知覺廣度和注意效率的重要指標。眼跳時間越短、眼跳距離越大,代表一次注視所獲取的信息量越大、閱讀速度越快,是較高水平語義通達和閱讀能力的早期特征[15]。面對海量信息,大腦會通過一種代償機制來調控并形成新的視覺瀏覽模式和注意資源分配方式,以降低認知成本,如紙質閱讀在翻頁過渡時的眼動缺乏規律,而網頁閱讀中用戶的首次注視點穩定落在新頁面的起始位置,Nielsen進一步總結提出F型網頁瀏覽模式[16]。隨著視覺識別技巧的增強,用戶往往能夠在某種任務導向或需求驅動下,明確將注意力引導至繁雜材料中的重要信息上,呈現規約掃讀和跳讀的節奏,并提高信息整合加工水平[17]。同時,注意模式受到視覺線索的影響,如分析用戶閱讀網頁時的首次注視時間及注視區域指標發現,相較文字而言,圖片尤其是帶有圖像嵌入元素的超文本信息受到了更多關注,并導致更高識別度、認可度及回憶效果,有助于信息的溝通和傳播[18]??紤]到數字環境中存在復雜干擾的情況,可通過凝視時間指標監測閱讀時注意力是否分散,進而在新的文本設計中嵌入聲音提醒和文字標記等多媒體功能作為緩解信號,通過視覺和聽覺同步的雙通道輸入和注意力引導,幫助用戶提高閱讀專注[19]。此外,高亮顯示、加粗字體、加大字號、下劃線、箭頭等低級視覺因素能夠影響平均眼跳幅度、平均注視時間、注視次數,符合閱讀規律的排版屬性可提供背景信息和導航線索,提高目標關注和理解水平[20],但需重點把握目標信息質量,以使用戶進一步產生信任并強化獎賞。

簡而言之,fMRI測度的內側膝狀體、腹外側前額葉皮層、背外側前額葉皮層激活情況,ERP顯示的beta波和MMN成分以及ET記錄的首次注視時間、眼跳時間、眼跳距離指標,皆可表征數字閱讀材料的感知特征和刺激反應,反應強度越高代表注意資源的分配和指向更多,后期閱讀理解和記憶效果更佳。從神經基礎層面剖析用戶對于多模態閱讀材料的注意水平和視覺模式,應用到數字閱讀內容創作和生產實踐中,可提高自身優質內容的顯示度和吸引力,并輔以材料設計的順暢體驗和元素指引,形成生產主體所期待的用戶閱讀節奏和心理取向,實現在視覺行為層面的閱讀引導和認知增強。

4 識別聚焦:進行問題導向型判斷,做出信息決策

數字閱讀的第二階段是識別聚焦,從注意吸引階段產生的信息趨近和集中,轉向較為復雜的視覺識別、語義處理和信息決策。數字閱讀更多被視為閱讀和解決問題相交的領域[21],即用戶著眼于指定閱讀材料、信息價值與自身閱讀需求、目標任務間的匹配,做出偏好性、相關性的判斷和選擇,呈現出數字閱讀的實用性特征。從認知神經領域探索用戶信息決策過程,明確不同預設目標下的任務需求和獲取預期,能夠留存注意資源并提升信息效能。

fMRI研究顯示,隨著閱讀任務需求的增加,左下頂葉皮層(lIPC)參與來自視覺、聽覺和體感的信息處理,以輔助語義加工和閱讀理解,梭狀回(fusiform gyrus)基于語音意識將視覺符號(詞形表征)解析成聲音單位(語音代碼),以形成復雜話語的綜合意義,內側頂葉皮層(vmPC)則結合現實情境和先驗知識,從語言線索中提取與自我相關的要義[22]。此外,用戶瀏覽在線內容時的腦區活動能夠預測態度偏好和決策選擇,如伏隔核(NAcc)與選擇偏好、點擊行為和積極情緒反應相關,前腦島(AIns)與信息過濾、注意規避和消極情緒反應有關[23],兩者在用戶觀看視頻時的激活情況可解釋用戶的注意參與過程并預測該視頻在YouTube的實際播放量(群體決策結果),且預測效果比傳統行為實驗和主觀報告測度結果更為準確[24]。

相關性判斷是信息決策的一個重要方面。ERP研究發現,隨著數字閱讀過程的推進,用戶閱讀相關性和不相關性材料時的腦電數據差異逐漸增大,顯示了大腦對于不同相關性材料的分類處理功能[25]。在刺激事件發生后約300ms檢測到的正電位P300,能夠區分顯示相關和不相關的詞語,代表刺激新穎性誘發的知覺聯合皮層激活,反映記憶更新方面的分類處理和相關性判斷過程,標志著朝向反應(orienting response)的出現和決策信心的增強[26]。另有關于響應控制方面的研究顯示,產生于刺激后約400ms的晚期正電位(Late Positive Potential,LPP),敏感于與既定認知相關的情感喚醒操作,如令人愉悅的視覺刺激、積極詞語誘發更大振幅LPP,代表大腦通過自上而下的調節策略來對閱讀材料進行情緒標記、情境編碼或重新評估等精細處理[27],反映了由情緒線索的動機關系產生的選擇性認知資源分配[28]。對超鏈接做出點擊決策是數字閱讀中重要的相關性判斷過程,alpha波是頻率范圍在8-13Hz的腦電振蕩活動,通過比較純文本閱讀和超鏈接閱讀發現,在類似超鏈接的選擇過程中,alpha波頻降低,代表執行工作記憶功能的負荷增加[29]。

ET研究發現,眼跳過程中副中央凹和邊緣視覺的使用,能幫助用戶從注視范圍之外獲取更多信息,以此指導眼動方向并增長閱讀技能[30]。平均瞳孔直徑被用于反映在線環境中的情緒喚醒,是預測閱讀意圖和點擊傾向的重要因素,如超鏈接選擇過程中檢測到瞳孔擴張的增加[29],并對后續回憶效果產生影響[25]。數字閱讀材料的超文本結構使大腦發展了非線性協同思維和多任務并行處理能力,形成信號識別、問題映射、手眼協調等新的策略以適應快速搜索、問題整合、頻繁切換的需求。用戶在檢索、定位和導航時普遍采取靈活的相關性判斷策略,即首先瀏覽搜索結果顯示的多個條目,再專注并做出符合期待的選擇,這一過程中的眼動模式與任務處理的準確性相關,可作為閱讀習得結果的早期預測指標。如在文本檢索和連續性文本定位活動中,用戶傾向于零散地搜尋答案,因而注視次數少、平均注視時間短,代表更高的信息加工數量和字詞解碼能力;在準確的網站標簽和超鏈接導航活動中,用戶平均注視時間長、平均瞳孔直徑大且差異小[14]。同時,閱讀行為及目標選擇受任務需求控制,與任務相關的文本片段會引起認知參與度的積極變化,表現為注視時間延長、頭部運動減少,記憶測試結果也更好[31]。

顯然,信息決策的關鍵在于用戶基于材料解碼、先驗知識、任務響應形成的相關性判斷。大腦左下頂葉皮層、梭狀回、伏隔核、前腦島區域的激活情況能夠預測信息傳遞和語義處理能力,ERP測量的P300、LPP成分、alpha波及ET的平均瞳孔直徑和平均注視時長指標能夠表征用戶相關性判斷的心理過程,為確認信息決策中存在的分類處理機制提供了神經證據。面對超文本的非線性結構,理解用戶信息識別、判斷、決策中的偏好選擇和影響因素,進而聯系閱讀任務、知識背景、生活經驗來提高信息交互的匹配度和精簡度,能夠有效支持用戶以積極的任務響應和決策信心推進后續閱讀理解過程。

5 關聯推理:實施關聯性推導理解,完成意義通達

關聯推理是整個閱讀認知過程中最為重要的一環,不僅強化或削弱了用戶對語義的前期識別,而且直接關系語篇的加工理解。在以解決問題和完成任務為導向的數字閱讀中,用戶往往實施與目標相關的關聯、想象、推理等認知策略,實現語義通達,并形成有意義、有價值的信息關系,凸顯數字閱讀的關聯性特征。認知神經領域研究在提出數字技術重組用戶閱讀目標和理解方式的同時,探析其作用機制和影響因素,為達到理想的理解和記憶效果提供依據。

用戶在動態語境中進行關聯推理時,需要迅速調動相關數字素養并采取多種認知策略,這將激活大腦不同功能區。fMRI研究顯示,位于顳-枕葉交界處的韋尼克區(Wernicke's area)是感覺性語言中樞,主要參與高度情境化環境下聽覺語言的分辨和理解;頂葉區具有輔助閱讀理解的功能,位于頂下小葉的角回(angular gyrus)是視覺性語言中樞,參與建立視覺意象和聽覺意象間的跨通道聯系,與語義理解和記憶密切相關[32]。與信息加工相關的功能區集中出現在額葉區,大腦處理有意義的目標任務時,會更多激活左側額下回眶部(lIFG),反映了特定閱讀情境下的記憶提取、語義選擇和演繹推理等加工過程[33],背內側前額葉皮層(dmPFC)則負責將連續句子進行相互關聯,并確定語篇是否連貫,進而產生推論和決策。

ERP研究顯示,潛伏期約400ms的負電位N400,由有意義的刺激材料及相關語言操作任務誘發,常見于違反語義期待的契合性判斷等高級認知沖突處理過程。通過分析N400時間段的差異波發現,相較抽象圖標(無意義閱讀材料),形象圖標(有意義閱讀材料)的N400差異波平均波幅更大,表現出記憶加工的新/舊效應及對測量任務的易化作用[34],并提示有意義/無意義維度可能比語言/非語言維度更重要[35]。

ET研究發現,注視時間的長短與語義通達情況和任務處理難度存在因果關系[36]。當注視次數較少、注視頻率更高、注視時間縮短時,會形成趨向于連續和集中的視覺軌跡,能夠預測更高的字詞解碼和語義提取能力以及對內容較好的閱讀效率和理解效果[37]?;匾曋笜丝捎糜诤饬空Z義通達情況和任務難易程度,反映用戶閱讀能力和重新加工過程,尤其是選擇性、遠距離的回視,有助于提升理解效果,代表了較強的閱讀能力[38]。人們往往認為數字閱讀會降低閱讀理解能力和吸收效果,綜合眼動模式和測試結果對不同閱讀載體進行比較發現,數字閱讀和紙質閱讀的眼動模式和理解效果整體相等,僅在時間分配和記憶能力方面存在差異。如紙質閱讀時人們先略讀而后仔細重讀,跨頁面的重讀行為更多,總體持續注視時間更長,表現為更高的閱讀成績和記憶程度[39]。數字閱讀時人們的首次閱讀時間更長,尤其閱讀超文本時往往投入更多時間,但很少回視和重讀,平均持續注視時間明顯縮短,因而數字閱讀在表層理解、工作記憶和處理速度方面表現更佳[40]。同時,比較利用臺式電腦、電子閱讀器、平板電腦閱讀時用戶的注視時間和回視指標發現,臺式電腦的平均注視時間較長、閱讀理解能力最差,平板的閱讀速度、學習成績和主觀偏好態度最佳[41]。面對用戶主觀報告中對數字閱讀時更低的感知理解和信心,有學者對閱讀載體和認知努力程度、閱讀慣性對閱讀行為的影響進行比較研究,發現對于難度較低的材料,用戶數字閱讀時的眼動頻率比紙質閱讀時更高,代表更低的認知努力和思考水平,但閱讀難度較高的材料時不存在這種差異[42]。從閱讀慣性來看,慣性淺閱讀用戶通常眼跳距離大、注視次數少、單個注視點持續時間更長,且對不同類型閱讀材料的眼動模式具有同一性[43]。這意味著閱讀過程中理解效果的差異并非源于載體形式,而在于更高級的任務導向、認知努力及閱讀慣性。事實上,數字設備還能提供更有利的閱讀條件。如在特殊的人造光條件下,平板電腦的LCD顯示屏比電子墨水屏甚至紙張具有更好的易讀性,能夠避免疲勞感,維持長時的舒適閱讀,尤其有助于老年用戶改善閱讀理解和記憶效果[44]。

可以看出,用戶在關聯推理階段對數字材料進行語義理解并形成意義關聯,大腦韋尼克區、角回、左側額下回眶部、背內側前額葉皮層的激活是落實認知策略以實現成功閱讀的先決條件,N400敏感于意義維度的記憶加工和任務處理,注視、回視相關指標可反映閱讀材料理解難度和認知努力程度。泛在知識環境下,認知神經領域研究呈現了數字閱讀認知策略的實施過程,發現用戶在表層理解和關聯學習方面呈現出的更優效果,應用到數字閱讀在呈現方式、交互元素方面的功能設置和技術增強中,可提升閱讀學習的靈活性和挑戰性,鼓舞用戶形成對閱讀材料的深層理解,并提升下一階段的思維重塑效果。

6 學習建構:重塑立體化思維方式,實現知識輸出

數字閱讀的最后一環是學習建構,以適應新的閱讀方式和學習目標,用戶在之前認知功能實現的基礎上,通過反思、聯想和創造等多維立體的思維方式,將了解到的信息轉換為結構化的知識和實質性解決問題的能力[45],蘊含數字閱讀的能動性特征。如何理清用戶思維背后的心理活動和控制機制,引導正確且有效的輸出結果,以在社會范圍內激發閱讀效能,成為認知神經科學領域數字閱讀研究的前瞻領域。

大腦結構具有高度自適應和可塑性,將隨環境、體驗、任務而發生復雜且精密的變化。fMRI研究發現,紙質閱讀促進神經元的聯系和再生,從而更好地鞏固記憶;數字閱讀則激活神經元的連接與新生,以提高學習和輸出能力[46]。具體而言,數字閱讀將系統性地激活與視覺和聽覺工作記憶、語言記憶和表達相關的功能區。如左側顳中回(lMTG)參與整合不同感知特征及語義關系,實現語義信息的識別、記憶及創造性表達[33];左側顳下回(lITG)參與更高級的視覺信息處理,其與枕-頂區的功能連接可正向預測用戶閱讀能力和學習成績[47]。位于左側額下回的布羅卡區(Broca's area)是運動性語言中樞,負責接收語音和語義解碼信號,生成語言信息并編制發音程序,執行口語表達和深層次語法功能[32]。有關閱讀材料的敘述性記憶生成、存儲及轉換依賴于海馬區(hippocampus),與情感有關的信息收集和回憶能夠增強海馬區的記憶性能,印證閱讀記憶的執行控制具有可塑性[48]。

用戶認知的晚期階段會對工作記憶進行加工和反饋,以鞏固學習效果,實現知識遷移。ERP研究顯示,刺激事件晚期350-600ms的晚期正成分(Late Positive Component,LPC)與回憶先前呈現信息和形成情景記憶的過程有關,LPC振幅隨閱讀材料的重復出現而增加,反映出詞匯效應(對不同熟悉度和語義價值的文本進行分類處理)的降低以及記憶痕跡的構建和強化[49],意味著復現和積累能夠調節大腦處理中對相應信息的記憶性能。LPC同時被視為識別評價過程的有效指標,反映了與P300類似的朝向反應,其較大振幅代表刺激材料占用大量心理資源并得到精細加工和充分評價。同時,在線評論、社會認同引發的認知重評、情緒壓抑等交互屬性顯示出對LPC振幅的調節作用[50],意味著數字閱讀可從口碑、共情方面觸發一種自上而下的控制機制,使大腦產生積極的加工和評價。

ET研究發現,眼動模式可表征學習過程,并預測學習(理解和記憶)成績。如早期左右掃視、非文本注視時間可視為直線式(Linear)學習策略的衡量指標,代表對閱讀材料的淺層次表示;上下掃視、左右掃視等綜合性眼球運動則表明更好的學習過程,可指示生成式(Generative)學習策略,反映對材料的深層次表征,有助于建立一個組織連貫的心智模型[51]。數字閱讀支持用戶在閱讀過程中繪制結構圖式(如矩陣、韋恩圖、流程圖),或劃詞標注并鍵入筆記,有助于形成符合生成式學習策略的眼動模式,提高大腦參與和學習效果,并創造更多的互動和閱讀價值[52]。對比慣性淺閱讀者和非慣性淺閱讀者的眼動模式來看,眼跳距離大、注視時間短、注視次數少意味著閱讀時投入的認知資源少,代表更高層的語義結構分析、學習加工水平較低,通過控制閱讀目標、焦點條件等方法,校正閱讀行為,可引導并加深閱讀學習過程[43]。已有學者提出一種結合圖像處理和眼動檢測技術的實時監控系統,對用戶學習加工過程中的眼球運動進行合理解釋并提取有效規律,用于監督和改進學習機制和交互方法,以此增強數字閱讀視覺體驗和學習功效[53]。

總之,學習建構階段用戶會將之前三個階段所獲信息在左側顳中回、左側顳下回、布羅卡區、海馬區進行綜合整理并實現語義表達和輸出。ERP中關于記憶性能和分析評價的LPC成分對于記憶加工和反饋機制的研究具有重要價值,ET研究提出的學習策略能夠指導用戶改善眼動模式和學習策略。從信息科學和知識管理角度來看,學習建構作為一種閱讀后產生的輸出效果,對于閱讀價值的實現具有重要意義。認知神經領域研究提出了促進大腦參與和知識輸出的方案,有助于瞄準用戶思維方式來豐富數字閱讀新形態、新產品、新場景,促進閱讀文化的整體發展。

7 討論

7.1 研究總結

數字閱讀帶來認知技能的此消彼長,弱化了紙質閱讀對于沉思冥想、文學理解和記憶容量的追求,增強了信息識別、意義判斷和問題解決的能力,從閱讀動力、信息時效、思考程度、知識回報方面重新建立一套具有明確性、實用性、關聯性、能動性的認知體系,以此提高閱讀效率并改善閱讀體驗。

數字閱讀始于注意吸引階段,用戶依據多模態感知特征和主觀偏好形成定向關注。從引發注意到理解記憶涉及相關性判斷,用戶會以問題為導向進行信息分類處理,并形成朝向反應。聚焦特定信息后,用戶會激活主題相關先驗知識,采取多種認知策略來進行關聯性推理,形成意義關系。學習建構是在前述閱讀體驗基礎上實現的問題解決與綜合發展,是實現閱讀價值的重要表征。

作為傳統研究方法和行為數據的有益補充,認知神經研究通過腦區活躍、腦電反應、眼動模式的猜測、實驗、解釋和應用,從刺激注意、先驗知識、意義關系、學習輸出等多維度揭示了數字閱讀中的大腦處理過程,為理解閱讀本質并引導行為和認知帶來新的可能。敏感于腦區空間位置和功能連接的fMRI研究發現,內側膝狀體、腹外側前額葉皮層、背外側前額葉皮層的激活可反映大腦對視聽刺激的處理;信息決策依賴于左下頂葉皮層和梭狀回進行語義組裝、解析和加工,獎賞相關腦區如伏隔核和前腦島的激活情況可預測情緒反應和選擇傾向,對后續活動水平具有先導效應;韋尼克區和角回是語言中樞,負責從視聽信息中分辨和提取語義,左側額下回眶部和背內側前額葉皮層的激活可在一定程度上反映大腦在語義層面對閱讀材料進行分析和推理的過程;視聽工作記憶在左側顳中回、左側顳下回和布羅卡區中整合,并實現語言表達和輸出,海馬區的激活可觸發記憶效應??梢钥闯?,數字閱讀時集中激活大腦左半球,尤其左額葉、左顳葉區域等與邏輯思考、推論理解、分析應用相關的功能區,形成新的思維鏈路以適應閱讀需求和目標任務。敏感于腦電特征和時間進程的ERP研究發現,beta波對注意力分配和超鏈接選擇十分敏感,MMN成分反映了對視聽刺激的無意識處理;接受刺激后,用戶會依據相關性進行信息分類和差異化處理,示意相關性判斷結果和喚醒操作的P300和LPP對數字閱讀信息決策動機關系的研究具有重要作用,alpha波敏感于超鏈接選擇;N400成分能夠在有意義的任務處理中反映記憶加工機制及對后續學習水平的影響;LPC成分提示重復的視覺體驗能夠強化記憶性能,以及情緒屬性的交互作用對加工評價具有調控作用。ET研究有助于更加細致準確地考察用戶閱讀中的感知對象、興趣區域和思考過程。首次注視時間、眼跳時間、眼跳距離可反映用戶接觸閱讀材料初期的注意力資源分配和閱讀節奏;敏感于心理反應的瞳孔直徑變化指標可衡量情緒體驗和閱讀傾向,平均注視時長可間接提示用戶整合信息并形成決策的心理過程;注視時長和回視軌跡與閱讀材料的通達程度和理解難度相關,更短的注視時間和選擇性回視對應流暢的視覺軌跡和任務處理,代表更佳閱讀理解效果;注視時長和掃視指標可作為學習策略的外部表征,相關眼動規律可為校正閱讀行為和改善學習功效提供指導。

7.2 研究意義

數字閱讀是當代社會主流閱讀形式,也是全民閱讀的重要議題。認知機制則是數字閱讀理論和實踐研究的重要維度。本文提出了數字閱讀認知機制的四個階段,并以此建立框架模型,對國內外認知神經領域的數字閱讀研究進行整體調研,分析各項心理活動和認知功能,從理論和應用層面闡述了認知神經科學技術與數字閱讀認知研究的相互適應和多維求解方式。

在理論層面,本文引入一種客觀途徑,從大腦活動和神經基礎角度考察用戶內潛性、隱蔽性需求以及原本無形可考的思維鏈路,揭示了受限于言語能力、回憶偏差、表達意愿而無法顯露的心理機制和行為邏輯。所涉神經數據與已有理論研究及行為數據互補,可更好地保證數字閱讀理論研究與實踐活動的嚴謹性、關聯性和確定性。同時,本文將相關研究內容進行系統梳理和消化吸收,形成較為完善的框架模型,并以此為邏輯主線,呈現已有成果、擬解決問題及未來研究啟示,為今后數字閱讀的認知研究提供基本脈絡和應用范式。此外,本文對數字閱讀認知機制的研究在某種程度上也揭示了一般認知過程,能夠啟發教育、醫學、人工智能等領域對于用戶消費決策、社會交往、思維活動等的深入探索,或將為破解人類智能這一終極奧秘提供良好開端。

在應用層面,本文將大腦活動與特定個體聯系起來,借助直觀顯示的思維共性,幫助數字閱讀企業從復雜認知活動中細致識別用戶行為和認知背后的邏輯和規律,為產品開發和營銷實踐提供科學指導。首先,注意吸引是數字閱讀的前提,閱讀材料可從視、聽、味、觸、嗅和第六感方面營造吸引用戶注意的感知風格和閱讀情境,并把握不同維度信息的搭配方式和刺激強度,以達到有效展露和深度感知的效果。其次,用戶朝向反應、理解效果和學習能力實際受到閱讀內容形式、主體經驗、任務目標的調節,因此,利用視覺線索、口碑傳播、沖突營銷等手段潛移默化地引導用戶產生被期望的視覺軌跡、決策結果和思維方式,能夠確保積極的行為和認知效果。最后,數字閱讀是一個動態發展的認知過程,用戶工作記憶和閱讀體驗會影響下一階段及未來閱讀,并逐步強化注意偏好和學習模式,因此,加深市場細分并明確品牌定位,聚焦目標群體提供針對服務,通過重復積累形成一對一的品牌聯想和心智占領,是強化閱讀效能和品牌忠誠的可行途徑。

7.3 研究展望

通過對國內外數字閱讀相關認知神經研究進行總結和分析,本文發現已有研究在拓寬技術方法和數據來源的同時,也存在以下有待解決的問題。

第一,注意吸引階段,已有研究深入分析了視覺和聽覺刺激的感知機制和注意效果,但較少關注其他感知方式。如紙質閱讀所特有的觸覺、嗅覺等引發了何種與注意資源分配相關的神經反應,以及能否為在數字閱讀中觸發類似反應或進行模擬實現提供可量化的依據,多模態信息中不同感知維度的加工路徑與交互作用如何,以及發生何種對閱讀行為和理解效果可能的影響,均有待在未來研究中探索。

第二,識別聚焦階段,學者發現了不同相關性信息的差異化處理機制,但未考察先驗知識水平、任務目標難度及多重因素干擾下的閱讀中斷對閱讀行為的影響,對于自下而上和自上而下等不同驅動方式下的判斷方式與決策態度,應當提供何種外部線索來引導目標加工路徑等問題仍待研究。

第三,關聯推理階段,研究論述了不同認知策略和語義處理在大腦層面的活動過程,確認了理解效果受到喚醒操作和先驗知識的影響。進一步尋找動態語境中影響語義處理和閱讀深淺的因素,加深對“用戶為何產生這樣的效果”問題的理解,并從正當性和合理性方面對“理解效果”進行重新評估,避免誤識和誤判,是未來研究中的重要課題。

第四,學習建構階段,學者提出了影響記憶和表達的腦區及改進學習的策略,然而與記憶碎片、記憶痕跡相關的連貫行為如何影響未來閱讀中刺激感知和信息決策的研究尚未發現。因此,今后研究可圍繞碎片化、多元化信息回憶對于感知注意和加工理解的影響效應方面展開。

第五,在認知神經科學領域,越來越多的共識是行為和認知的出現也源于腦區的交流和連接,如關聯推理時既需回憶理解上下文語義,也需綜合考慮閱讀情境、聯系自身經驗,是一個非模塊化的腦處理過程。因此,進一步探究腦區功能連接和交互影響,能夠為全面立體地理解數字閱讀本質和特征提供更多支持證據。

最后,受實驗器材和測試條件等限制,已有研究主要探究單一個體的神經活動,限制了實驗對現實的模擬和洞察。因為從社會文化的角度來看,數字閱讀不僅是個體的心理過程,也是由交流分享形成的互動關系和文化認同[54]?;趂NIRS的超掃描技術支持同時對多個用戶的大腦進行掃描和成像,未來研究可以此分析驗證互動媒體中的參與行為、社交情境下的人際關系等多項社會化閱讀問題,加深對不同場景中媒介和神經同步間關系的理解。

總體而言,技術旨在增強閱讀體驗和激發閱讀效能,未來數字閱讀研究可從認知神經科學視角出發,結合元宇宙背景下綜合發展的腦機接口、數字孿生技術在捕捉腦電信號和模擬數字時空方面的運用,考慮ChatGPT在生成文本和輔助決策方面的滲透,建立多渠道、多維度數據驅動的用戶行為和認知模型,增強對于用戶閱讀習慣、內在心境、價值訴求的理解和判斷,為數字閱讀產品服務設計、資源組織推送、數實融合體驗、知識理解遷移等提供更多新的方法和依據。

作者貢獻說明

劉葉萍:設計研究方案,文獻收集和論文撰寫;

袁小群:提出研究方向,論文修訂。

支撐數據

支撐數據由作者自存儲,Email:liuyeping@whu.edu.cn。

1.劉葉萍.catalog.xlsx.文獻梳理目錄信息.

猜你喜歡
語義數字用戶
語言與語義
答數字
關注用戶
數字看G20
關注用戶
“上”與“下”語義的不對稱性及其認知闡釋
關注用戶
認知范疇模糊與語義模糊
如何獲取一億海外用戶
成雙成對
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合