這段時(shí)間，一款名叫ChatGPT的人工智能聊天系統就像平地起春雷，突然刷爆網(wǎng)絡(luò )。
“從目前普遍的對話(huà)感受來(lái)看，ChatGPT的最大亮點(diǎn)就在于其優(yōu)秀的意圖識別與語(yǔ)言理解能力，這令人意識到人工智能的交互能力已經(jīng)實(shí)現了跨越式進(jìn)展?！币子^(guān)智慧院高級分析師陳晨評價(jià)。
有問(wèn)必答，侃侃應對。這種神奇的人機互動(dòng)體驗，勾起人們絞盡腦汁向ChatGPT提問(wèn)的熱情，并為其帶來(lái)驚人的用戶(hù)量：該系統在兩個(gè)多月前由美國人工智能研究公司OpenAI推出，今年1月便已達到1億月活躍用戶(hù)，用戶(hù)增長(cháng)速度堪稱(chēng)史無(wú)前例。
這款產(chǎn)品大受歡迎，其重要幕后功臣是被業(yè)內稱(chēng)為預訓練模型的技術(shù)。面對ChatGPT的爆火，國內科技機構和企業(yè)紛紛“亮劍”。據最新消息，中國版ChatGPT將于下個(gè)月與公眾見(jiàn)面。
參數規模從幾百萬(wàn)狂飆至幾千億
“目前，預訓練技術(shù)是人工智能研究的重要突破口?！卑⒗镅芯吭何磥?lái)技術(shù)中心負責人蘇中解讀，傳統的研究方法中，標注成本一直是阻礙人工智能算法推向更大數據集合的障礙，而預訓練技術(shù)不依賴(lài)數據標注，就可以訓練出一個(gè)大規模深度學(xué)習模型。
科技日報記者了解到，由于不需要數據標注，預訓練模型往往可以使用更大的數據集，因而可以選擇更大的模型規?！@就催生了預訓練大模型。
“與以往的人工神經(jīng)網(wǎng)絡(luò )相比，預訓練大模型最大的不同在于它規模足夠大，深度學(xué)習網(wǎng)絡(luò )的層數多、連接多、參數多?！盜DEA研究院（粵港澳大灣區數字經(jīng)濟研究院）認知計算與自然語(yǔ)言研究中心講席科學(xué)家張家興接受記者采訪(fǎng)時(shí)介紹，2012年前后的深度學(xué)習網(wǎng)絡(luò )只有幾百萬(wàn)參數；2018年前后主流的預訓練模型達到1億參數；目前被證明非常有效的大規模預訓練模型已有幾千億參數，短短幾年時(shí)間提升了幾千倍。
量變引起質(zhì)變。蘇中分析，在對預訓練模型各種不同的技術(shù)評測中，算法性能展示了一個(gè)規律：數據規模越大、預訓練模型參數越多，算法輸出精度往往也越高。
除了規模大以外，張家興談到，目前的預訓練大模型由于采用了新的結構模型，非常適合并行訓練。同時(shí)，在訓練方式上，人工神經(jīng)網(wǎng)絡(luò )的預訓練任務(wù)類(lèi)似“解題”，比如把一句話(huà)的某個(gè)詞或前半句去掉，讓預訓練模型利用海量大數據對句子進(jìn)行恢復，這樣訓練下去，預訓練模型的“解題”能力就會(huì )越來(lái)越好。而且，在大語(yǔ)言模型的基礎上，引入指令學(xué)習，可以遠超模型微調帶來(lái)的收益。在此基礎上，人類(lèi)的反饋可以幫助模型更好地理解人類(lèi)意圖和接收信息，人機對話(huà)也就越來(lái)越流暢。
“ChatGPT在底層數據、核心技術(shù)、用戶(hù)體驗等各方面都可以說(shuō)是里程碑式的人工智能產(chǎn)品?！睍缫曆芯吭夯A科研負責人張祥雨表示，ChatGPT的核心技術(shù)是人工智能語(yǔ)言大模型，其關(guān)鍵是如何讓人工智能模型具備邏輯推理能力，以及如何讓人工智能學(xué)習全互聯(lián)網(wǎng)的知識。這些ChatGPT基本都做到了，因此在決策和知識環(huán)節有了很大的突破。
國內多家科技機構已布局相關(guān)領(lǐng)域
據外媒報道，多家國外科技巨頭正重金投入預訓練模型和人工智能生成內容（AIGC）賽道。記者了解到，國內已有不少科技機構和企業(yè)布局相關(guān)領(lǐng)域。
張家興告訴記者，IDEA研究院認知計算與自然語(yǔ)言研究中心在此方向上布局已久，該中心擁有國內最大的開(kāi)源模型體系——封神榜，已開(kāi)源的98個(gè)模型正在全力支持中國AIGC的發(fā)展，探索研發(fā)適配各個(gè)領(lǐng)域的個(gè)性化可定制模型，支持全部自然語(yǔ)言處理（NLP）任務(wù)。
“很高興能在深度學(xué)習高速發(fā)展的第十年節點(diǎn)上，看到AIGC和ChatGPT的出現，今天所有這些自然語(yǔ)言處理任務(wù)正在被統一到ChatGPT模式下，我們也正在整合之前的模型和技術(shù)，推出我們的類(lèi)ChatGPT模型?！睆埣遗d說(shuō)。
記者從百度獲悉，百度已投入開(kāi)發(fā)類(lèi)似ChatGPT的相關(guān)技術(shù)，該項目名字確定為文心一言，英文名ERNIE Bot，3月份完成內測后面向公眾開(kāi)放。目前，文心一言在做上線(xiàn)前的沖刺。
“ChatGPT主要涉及自然語(yǔ)言處理相關(guān)技術(shù)，屬于認知智能領(lǐng)域的應用之一，科大訊飛在該方向的技術(shù)和應用方面具備長(cháng)期深厚的積累?！?月8日晚，科大訊飛在投資者互動(dòng)平臺回應稱(chēng)，公司已面向認知智能領(lǐng)域陸續開(kāi)源了6大類(lèi)、超過(guò)40個(gè)通用領(lǐng)域的系列中文預訓練語(yǔ)言模型，并于去年12月啟動(dòng)生成式預訓練大模型任務(wù)攻關(guān)，人工智能學(xué)習機將成為該項技術(shù)率先落地的產(chǎn)品，今年5月將進(jìn)行產(chǎn)品級發(fā)布。
此外，360公司2月7日在投資者互動(dòng)平臺表示，該公司也計劃盡快推出類(lèi)ChatGPT技術(shù)的原型版產(chǎn)品?！癆IGC技術(shù)除了在搜索引擎的應用之外，還可以輔助數字安全能力的提升?！?60公司稱(chēng)。