ChatGPT在熱線系統中的應用研究

摘要：人工智能技術的快速發展推動了各行各業的技術進步和發展，尤其是在信息化應用方面取得了顯著的成果。本文從功能分析、發展歷程、訓練模型和訓練過程等方面，對ChatGPT進行了深入探討。結合當前政務服務熱線存在的難點與堵點問題，本文指出了ChatGPT技術應用于熱線系統的切入點，并強調它對生成式人工智能技術在政務系統中的積極推動作用。當然，為了確保安全性，本文也指出了ChatGPT的局限性和必須以法律法規為前提的應用條件。

關鍵詞：ChatGPT；熱線系統；人工智能；12345

一、引言

OpenAI的ChatGPT再一次把人工智能AI（Artificial Intelligence）推向了風口浪尖。

二、ChatGPT的概念

對話式生成型預訓練轉換系統ChatGPT（Chat Generative Pre-training Transformer）是由OpenAI（美國人工智能研究實驗室）在2022年11月30日發布的一款聊天機器人模型。這個模型在發布后迅速走紅，僅僅5天時間注冊用戶就超過100萬，并且在2個月內用戶數量達到了1億。

ChatGPT是由人工智能技術驅動的自然語言處理工具，它通過學習和理解人類語言進行對話。這個模型能夠根據對話的上下文進行互動，實現持續地交流，仿佛真正和人類進行聊天一樣。此外，ChatGPT還可以完成智能問答、撰寫郵件、視頻腳本、編寫文案、語言翻譯、生成代碼和統計分析等多種任務。

三、ChatGPT的特征

（一）聊天能力

ChatGPT達到了人類的聊天水平，并且隱藏了機器的特性。它能夠通過學習“理解”人類語言，并根據上下文環境回答問題，進行多輪對話。

（二）多領域知識

ChatGPT具有廣泛的學習能力，能夠獲取各類知識，上知天文下知地理。它可以幫助人類完成多種工作，如文案策劃、腳本編寫、代碼生成、統計報表、文本翻譯等。

（三）內容生成

ChatGPT屬于人工智能生成技術的應用，是人工智能內容生成（AIGC）技術的一種具體應用。它基于學習人類語言和各類知識技術，生成智能化、創造性的內容。

（四）模型基礎

ChatGPT的核心是一系列相互關聯、相互制約的模型，是基于算法的結構。它基于生成式預訓練變換模型GPT，通過生成式自監督學習從大量訓練數據中學習語言規律和模式，并訓練出具有千億級別參數量的大規模語言模型。核心模型InstructGPT基于反饋指令強化學習，使ChatGPT能夠生成與人類常識、認知、需求和價值觀相一致的內容。

（五）自我約束機制

ChatGPT具備基于道德訓練的自我約束機制。當遇到不了解的問題時，ChatGPT會承認自己的無知；對于質疑，它會虛心接受并進行討論；對于不正確的問題，它能夠提出質疑并指出問題所在；而對于惡意的提問和請求，如含有暴力、歧視、犯罪等意圖，ChatGPT會拒絕提供有效答案。

（六）應用符合價值導向和法律規范

ChatGPT的應用必須遵循當地人類的價值導向和法律規范，符合國情要求。相比傳統語言模型，ChatGPT減輕了生成內容的危害和偏見，更符合訓練素材的價值取向 [1]。

四、ChatGPT的技術

（一）發展歷程

ChatGPT是GPT家族的成員，其前身是InstructGTP（亦稱GPT3.5）。

GTP-1于2018年6月發布，采用無監督預訓練和有監督微調相結合的方法。使用12層模型，1.17億參數量，預訓練數據量為5GB。

GTP-2于2019年2月發布，延續了GTP-1的結構，利用無監督的預訓練模型進行有監督任務。采用48層模型，15億參數量，預訓練數據量為40GB。

GTP-3于2020年5月發布，引入了In-Context Learning和大容量Transformer模型進行訓練。采用96層模型，1750億參數量，預訓練數據量為45TB。

GPT-3.5在GPT-3基礎上，加入了人類反饋強化學習RLHF（Reinforcement Learning from Human Feedback）模型，以加強人類對模型輸出結果的調節和排序。

ChatGPT于2022年11月發布，是基于GTP-3.5架構的大語言模型，通過RLHF技術進行強化訓練，并加入了更多的人工監督進行微調。

ChatGPT-4于2023年3月15日發布，支持多模態的預訓練大模型。

（二）相關模型概述

ChatGPT是基于Transformer架構的自然語言處理NLP（Natural Language Processing）人工智能模型，經過超級級別的語料訓練和巨大算力的支持，成為一款聊天機器人。

1. Transformer

Google于2017年提出的深度學習算法，基于自注意力機制，包含編碼器（Encoder）和解碼器（Decoder）模塊，通過編碼和解碼過程將輸入序列轉換為輸出序列。

2. GPT

基于Transformer的預訓練語言模型，通過輸入前文的單詞序列來預測下一個單詞，以達到對自然語言理解的訓練目的。

3.RLHF

一種通過獎勵機制擬合損失函數指導模型訓練的方法。通過人工標注的反饋機制，提升強化學習的效果。

4. RM（Reward Model，獎勵模型）

用于微調超大規模參數預訓練模型，利用人工標注的數據集對訓練結果進行干預和優化。

5. PPO（Proximal Policy Optimization，近端策略優化）

一種近端策略優化算法，利用與環境的交互信息數據，按照隨機梯度上升策略優化模型，并對每次優化進行評估，記錄經驗值以便回放和學習。

（三）訓練過程

ChatGPT的訓練基于RLHF框架，過程分為三個階段。

第一階段：訓練監督策略模型

通過隨機抽取數據集中的問題，并由標注者扮演用戶和人工智能助手的角色給出高質量答案，利用人工標注數據對GPT-3.5模型進行有監督微調（SFT）。

第二階段：訓練獎勵模型

再次隨機抽取問題，使用第一階段生成的SFT模型生成多個答案，標注者綜合考慮對這些結果進行優劣排名，將這些排序結果用來訓練獎勵模型（RM）。

第三階段：采用PPO強化學習優化策略生成回答

再次隨機抽取新的問題，通過PPO模型生成答案，并根據獎勵模型的評估打分進行策略梯度傳遞，利用強化學習的方式更新PPO模型的參數。

通過不斷重復這個訓練過程，并進行迭代調優，可以訓練出更高質量的ChatGPT模型[1]。

五、ChatGPT在熱線系統的應用

（一）熱線系統概述

熱線系統是組織利用電話或網站、APP等互聯網方式，為解決個人或其他組織的訴求，供大眾使用的信息處理系統。

（二）熱線系統的分類

根據熱線設立者的不同，可以分為政務熱線、平臺熱線和企業熱線。

政務熱線是由黨政機關、事業單位或社會團體設立的，旨在為個人或社會組織提供各類咨詢、解決意見、建議、投訴、舉報等問題，并反饋處理意見的信息處理系統。政務熱線可以采用傳統方式（如電話、信函）或新型交互方式（如APP、小程序）運作。例如，“12345政務服務便民熱線”就是政務熱線的典型形式。

平臺熱線是由平臺的建設維護者創立的，用于回答平臺上消費者、經營者和其他個人或組織的咨詢、解決意見、建議、投訴、舉報等問題，并反饋處理意見的信息處理系統。平臺熱線同樣可以采用傳統方式或新型交互方式進行運營。京東、淘寶等建立的熱線就屬于平臺熱線范疇。

企業熱線，通常被稱為客服熱線，由企業經營者建立，供其產品消費者、經營者和其他個人或組織使用。企業熱線解答各類咨詢、解決意見、建議、投訴、舉報等問題，并反饋處理意見。企業熱線也可通過傳統方式或新型交互方式（如APP、小程序）提供服務。電信、聯通、移動等公司建立的熱線屬于企業熱線的范疇。此外，企業熱線通常會涉及新產品推介和企業文化介紹等內容。

（三）熱線系統的難點

12345政務服務便民熱線是典型的熱線系統，其特點就是受眾廣（所有人）、部門多（各級政府部門），且涉及所有政府業務的咨詢、監督和投訴舉報等。在運行過程中，12345熱線存在如下難點、堵點問題。

①咨詢量大，智能應答能力不足。由于各業務部門眾多，熱線人員難以滿足所有咨詢的需求。目前的專家知識支持系統主要依賴于業務部門提供的知識庫，并采用關鍵詞搜索方式。然而，這種方法效率較低，效果也有待改進。

②業務種類多，分流難度大。12345熱線涉及政府的各個部門，有些部門職責界限不明確。例如，某些業務涉及商務和市場監管等部門，給業務分流帶來了困難。分流錯誤將不可避免地影響辦理時效，降低群眾對政府工作的滿意度。

③統計分類不夠精準，對決策支持力度不夠。為了提高問題記錄的效率和熱線接通率，12345熱線采用了簡化的分類方式。然而，這種做法導致信息的準確性不夠，對決策的支持度不高[2]。

（四）ChatGPT在熱線系統中的應用構想

①利用ChatGPT的特長進行咨詢類問題解答。通過訓練ChatGPT并提供大量的法律法規、業務規范和知識庫，使其能夠掌握各類業務知識，以便承擔咨詢類問題的解答任務。同時，可以通過語音AI技術實現熱線語音與文字的實時轉換，將熱線用戶與ChatGPT連接起來，搭建語音交流環境（待ChatGPT支持語音模態輸入時可以直接進行交流）。

②利用ChatGPT進行業務分流工作。經過訓練的ChatGPT可以承擔業務分流工作。將除咨詢類問題之外的工單輸入給ChatGPT進行分析判斷，并輸出承辦部門。為實現這一目標，需要在熱線系統和ChatGPT之間建立接口，使其成為熱線系統的一個組成環節。

③利用ChatGPT進行數據加工，提高統計分析支持力度：ChatGPT可以對數據進行加工，以滿足統計分析的要求，提高決策支持的力度。例如，對于商品（產品）的多級目錄結構，可以僅記錄最后一級目錄，然后由ChatGPT對數據進行后加工，自動補充各級目錄，以滿足統計分析的精準性要求。這樣可以減少工作量和用戶數據采集錄入所需的時間，提高用戶滿意度。

在平臺熱線和企業熱線系統中，ChatGPT還可以根據熱線使用人員的消費習慣，推薦與之相匹配的消費產品或服務，促進消費甚至引導消費。

（五）ChatGPT的局限

①知識更新和可靠性。ChatGPT目前無法進行網絡搜索和實時更新知識，其知識水平停留在2021年9月份，并且可能生成錯誤答案。確實，在讓ChatGPT能夠上網尋找學習語料和搜索知識方面的挑戰，也需要解決與甄別不良內容相關的問題，以確保不受極端人員的濫用。

②訓練成本和數據壟斷。ChatGPT的訓練需要大量的算力和語料支持，這可能使規模較小的組織難以承擔高昂的費用，并導致壟斷行為。特定語料訓練的模型可能忽視其他未用于訓練的語料，導致語料范圍的壟斷現象。

③部署成本和模型大小。ChatGPT的部署需要大量的算力支持。為了降低對資源的依賴，可以考慮采用輕量級模型或更具性價比的算力平臺?？山柚炕?、剪枝和稀疏化等壓縮方法來減小模型的大小。

④安全性和符合法律法規。ChatGPT的安全性是不容忽視的問題。訓練語料中的政治傾向、宗教信仰、地域文化、科技知識、經濟理論、家庭倫理等因素直接影響ChatGPT模型的“思維”。引入ChatGPT時，必須進行全面評估，確保符合當地的道德要求和法律法規。

⑤輸入輸出限制和應用范圍。ChatGPT目前只支持單模態的輸入輸出，這限制了其應用的便利性和范圍。最新公布的GPT-4增加了對圖形輸入的支持。

⑥對科學領域的局限性。ChatGPT在某些科學領域，如數學領域，不夠專業。集成專業的AI模型，如能夠進行計算和推理的數學專業AI，可以使ChatGPT更好地應用于科學領域。

⑦涉及謠言和有害內容的處理。ChatGPT如果未經大量語料訓練，可能會胡說八道。為了避免ChatGPT受到有害和欺騙性的訓練輸入影響，可以通過算法屏蔽來防止這類問題的發生。另外，可以通過API過濾來駁回潛在種族主義或性別歧視等不良提示，但無法完全杜絕。

⑧對于“從眾”和“以訛傳訛”的助推。ChatGPT可能會助推“從眾”思維甚至“以訛傳訛”的現象，例如在讀音方面的改變。這需要引起人們的重視和實施相關的對策。

ChatGPT作為一種新的產品或者說技術，其使用肯定存在許許多多的問題和不足。比如，平衡各種語言的問題、保護小眾群體的歷史文化等。同時，必須意識到，雖然ChatGPT可能超過人類的平均水平，但也可能淹沒人類的最高水平，限制人類科技進步的可能性。因此，在使用ChatGPT時需要進行科學決策和全面評估。

六、結束語

本文主要聚焦于ChatGPT技術本身，而不僅僅局限于OpenAI訓練的產品。當應用任何產品和技術時，必須評估其安全性，并確保符合當地的道德要求和法律法規，這些要求是不斷變化的 [3]。同時，也要認識到任何產品和技術都不是完美無缺的，都有可能存在錯誤。尤其是AI模型，如ChatGPT，訓練出來的模型也可能會出現失實信息的情況，并且在科學領域的表現可能會相對較差。然而，ChatGPT作為AI領域具有歷史意義的里程碑事件無疑具有巨大的潛力，同時期待百度的文心一言能夠發展成為中國的ChatGPT，并推動科技的進步和產品的更新。

作者單位：孟繁玉 山東省市場監管監測中心

參? 考? 文? 獻

[1]張智雄，錢力，謝靖，等.ChatGPT對科學研究和文獻情報工作的影響[R].

[2]孟繁玉.智慧城市之政府熱線系統建設[J].中國信息界，2019，06：92-93.

[3]孟繁玉.網絡安全態勢感知與人工智能[J].中國信息界，2019，08：89-91.