ChatGPT推動(dòng)全球爆發(fā)新一輪人工智能熱潮，以大型語言模型為基礎(chǔ)的生成式人工智能被看作堪比蒸汽機(jī)的技術(shù)驅(qū)動(dòng)器。新的AI淘金時(shí)代來臨，“賣鏟子的人”贏得前所未有的關(guān)注，從算力、算法到數(shù)據(jù)、網(wǎng)絡(luò)，機(jī)遇與挑戰(zhàn)并存。

7月6日，澎湃科技（m.school126.cn）邀請上海超級計(jì)算中心主任李根國和百度飛槳產(chǎn)品團(tuán)隊(duì)負(fù)責(zé)人趙喬，共同探討大模型基礎(chǔ)設(shè)施的機(jī)遇與挑戰(zhàn)。本場對話由澎湃科技記者邵文主持，在一個(gè)小時(shí)的對話中，嘉賓們討論了多個(gè)相關(guān)問題，包括：

為什么AI大模型的計(jì)算成本如此高，有哪些方法能夠降低成本？

算力短缺會(huì)持續(xù)多久？算力調(diào)度的難點(diǎn)在哪？初創(chuàng)公司如何配置AI技術(shù)設(shè)施？

……

如何確?！扮P子”質(zhì)量鋒利和堅(jiān)固

澎湃科技：目前有一個(gè)非常熱門的話題，即AI模型的計(jì)算成本非常高。我們可以用通俗的方式向大眾解釋一下為什么AI大模型的計(jì)算成本如此高，現(xiàn)在有哪些方法能夠降低這些成本？

李根國（上海超級計(jì)算中心主任）：首先，人工智能的發(fā)展經(jīng)歷了很長時(shí)間，從20世紀(jì)50年代開始提出概念，經(jīng)歷了多次熱潮。我們認(rèn)為ChatGPT的出現(xiàn)是人工智能領(lǐng)域革命性的突破，因?yàn)檫^去的工作更多是基于特定領(lǐng)域的知識和數(shù)據(jù)，比如計(jì)算機(jī)、化學(xué)、物理或生命科學(xué)等。然而，ChatGPT的出現(xiàn)打破了領(lǐng)域限制。盡管它是一個(gè)語言模型，但實(shí)際上可以在各個(gè)領(lǐng)域中使用，這是一次革命性的突破。在它之前，人工智能并沒有形成一個(gè)標(biāo)準(zhǔn)的理論。但是有了ChatGPT，可能會(huì)引發(fā)人工智能理論的產(chǎn)生，因?yàn)樗黄屏颂囟I(lǐng)域的發(fā)展。

然而，GPT模型的訓(xùn)練需要強(qiáng)大的計(jì)算能力支持。訓(xùn)練大模型需要使用數(shù)千張圖形處理器（GPU）。目前，人們認(rèn)為起步的必要條件是至少3000張GPU，而未來可能會(huì)有更高的需求。英偉達(dá)的A100 GPU性能指標(biāo)是320 TFLOPS，因此，為了獲得100 PFLOPS的計(jì)算能力，需要使用300多張A100 GPU。（注：1TFLOPS等于每秒萬億次浮點(diǎn)計(jì)算，1PFLOPS等于每秒千萬億次浮點(diǎn)計(jì)算）

此外，訓(xùn)練這樣的大模型需要一個(gè)周期，可能需要一個(gè)月的時(shí)間。在這一個(gè)月的時(shí)間里，機(jī)器的能耗將非常高，例如可能達(dá)到一兆瓦。也就是說，僅僅訓(xùn)練一個(gè)大模型就需要數(shù)百萬元的電費(fèi)。

當(dāng)然，這只是起步階段的訓(xùn)練成本。在訓(xùn)練完成后，還需要不斷迭代和更新模型，這也需要大量的算力和電力支撐。

趙喬（百度飛槳產(chǎn)品團(tuán)隊(duì)負(fù)責(zé)人）：開發(fā)一個(gè)大模型的過程，就像是小朋友讀書一樣。我們會(huì)設(shè)置一個(gè)非常龐大的神經(jīng)網(wǎng)絡(luò)，然后讓神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)大量數(shù)據(jù)來獲得較好的效果。這個(gè)過程需要較長時(shí)間，同時(shí)也會(huì)消耗大量算力和電費(fèi)等資源。

此外，數(shù)據(jù)的存儲(chǔ)是一個(gè)額外的成本。就像小朋友閱讀得越多，變得越聰明一樣，人工智能模型也需要更多的數(shù)據(jù)來提高效果，這對數(shù)據(jù)存儲(chǔ)提出了很高的要求。

另外，計(jì)算量增加意味著使用的（人工智能加速）卡數(shù)增加。當(dāng)你將模型擴(kuò)展到更多的卡上時(shí)，要確保能夠達(dá)到與單卡相同的效果是相當(dāng)困難的。這涉及到穩(wěn)定性和線性加速比的問題。同時(shí)，由于集群規(guī)模的增大，可能會(huì)出現(xiàn)卡的損壞或掉電等問題，因此需要確保訓(xùn)練過程的持續(xù)穩(wěn)定性。

為了降低這些成本，我們在硬件和軟件層面都做了很多工作。在硬件方面，我們從集群設(shè)計(jì)和網(wǎng)絡(luò)調(diào)度等方面進(jìn)行優(yōu)化，以降低成本。在軟件層面，特別是在深度學(xué)習(xí)平臺(tái)和框架方面，我們采取了許多方案來降低成本。例如，通過壓縮模型尺寸大小來獲得與大模型相當(dāng)?shù)男Ч?，采用量化壓縮等工具。這些工作都是為了降低訓(xùn)練成本。

李根國：除了算力需求，數(shù)據(jù)的質(zhì)量也對訓(xùn)練效果和計(jì)算成本有影響。通過對數(shù)據(jù)進(jìn)行預(yù)處理和提高算法平臺(tái)的完善程度，可以提高訓(xùn)練效率，從而節(jié)約算力。

澎湃科技：當(dāng)前大型AI模型對AI基礎(chǔ)設(shè)施提出了很多要求。在AI基礎(chǔ)設(shè)施的發(fā)展中，存在哪些明顯的瓶頸？

趙喬：飛槳作為深度學(xué)習(xí)平臺(tái)，也是AI開發(fā)的基礎(chǔ)設(shè)施，這些年與國內(nèi)外不同的算力基礎(chǔ)設(shè)施的機(jī)構(gòu)有過合作。

首先是互聯(lián)網(wǎng)公有云服務(wù)提供商，他們需要花費(fèi)大量資金購買硬件設(shè)備，例如英偉達(dá)的設(shè)備。然而，他們當(dāng)前面臨著供不應(yīng)求甚至算力供應(yīng)短缺情況。但實(shí)際上公有云的價(jià)格相對較低，甚至存在激烈的競爭，所以他們面臨的挑戰(zhàn)是如何持續(xù)降低成本并提供更好的算力服務(wù)。

其次是超算中心，它們通常服務(wù)于國家的重大戰(zhàn)略任務(wù)，主要關(guān)注高性能計(jì)算等經(jīng)典領(lǐng)域。在AI時(shí)代，面臨的挑戰(zhàn)是如何將傳統(tǒng)的超算集群轉(zhuǎn)變?yōu)槟軌蛑蜛I任務(wù)的智能計(jì)算集群，這里包括體系結(jié)構(gòu)和軟件平臺(tái)的大量升級工作。我們正與國內(nèi)的許多超算中心合作，以提升和改進(jìn)這一點(diǎn)。

此外，還有一些大型企業(yè)會(huì)自建AI基礎(chǔ)設(shè)施，除了一次性投資外，后續(xù)的運(yùn)維和有效使用這些設(shè)備也可能成為瓶頸。

還有一個(gè)重要的挑戰(zhàn)是，隨著大模型尺寸的增加，對數(shù)據(jù)和算力的需求也越來越大，傳統(tǒng)的單點(diǎn)式算力發(fā)展可能無法滿足未來的需求。因此，實(shí)現(xiàn)廣泛的算力互聯(lián)互通是非常重要的，但在實(shí)現(xiàn)互聯(lián)互通之后，如何高效地進(jìn)行調(diào)度以及支持應(yīng)用開發(fā)也是具有挑戰(zhàn)性的工作。

李根國：根據(jù)直播的主題，我們可以將自己比作是賣鏟子的人。作為賣鏟子的人，我們必須確保鏟子的質(zhì)量非常鋒利和堅(jiān)固。所以我們要把算力做得既好用，又有價(jià)值，同時(shí)成本也低，以便在算力市場上占據(jù)地位。

因此，從算力的角度來看，我們需要突破核心技術(shù)和發(fā)展。首先，核心技術(shù)之一是算力的互聯(lián)技術(shù)。這意味著我們需要將上百張卡片連接在一起，共同完成一個(gè)任務(wù)，而不是將任務(wù)分配給每個(gè)卡片?；ヂ?lián)技術(shù)在這方面起著關(guān)鍵作用。然而，美國對我們施加限制，如禁止我們使用從A100到A800的卡片，限制了我們的互聯(lián)核心能力。他們限制了我們的帶寬不能超過每秒400G，包括H系列卡片在內(nèi)。因此，要在算力方面取得突破，首先需要突破互聯(lián)技術(shù)。

其次是芯片技術(shù)，即用于人工智能的芯片。大家通?？吹降氖撬懔ǎ懔ú逶诜?wù)器上。如果一個(gè)服務(wù)器插滿了8張卡，1張卡的功耗可能是700千瓦，那么單臺(tái)機(jī)器甚至可能達(dá)到6000千瓦。根據(jù)以前的IDC（互聯(lián)網(wǎng)數(shù)據(jù)中心）標(biāo)準(zhǔn)，一臺(tái)機(jī)器就占據(jù)整個(gè)機(jī)柜的功耗，之前一個(gè)柜子里至少可以容納10臺(tái)服務(wù)器，但現(xiàn)在只能容納1臺(tái)?，F(xiàn)在有另一種方法即水冷技術(shù)，利用水冷可以使機(jī)柜的功耗降低，那么就可以容納6-8臺(tái)機(jī)器。因此，我們需要突破傳統(tǒng)服務(wù)器和機(jī)柜的技術(shù)，實(shí)現(xiàn)更高效的利用空間。

第三個(gè)核心技術(shù)是軟件。在人工智能領(lǐng)域，軟件體系非常重要。我們需要有適用于人工智能和大數(shù)據(jù)的軟件體系，以便訓(xùn)練大模型并在各行各業(yè)中應(yīng)用。但互聯(lián)技術(shù)、芯片技術(shù)等底層技術(shù)仍然不是我們的。如果我們不能突破這些技術(shù)，我們只能作為應(yīng)用方來使用別人發(fā)布的大模型，并將其應(yīng)用于各個(gè)領(lǐng)域。國家機(jī)構(gòu)對這些核心技術(shù)非常重視，因?yàn)榈讓蛹夹g(shù)的突破至關(guān)重要。

“大煉鋼鐵的階段基本接近尾聲”

澎湃科技：對于AI基礎(chǔ)設(shè)施的成本變化趨勢，兩位有什么看法？哪些方面的成本有望降低，哪些方面的成本難以降低？

趙喬：我國底層的AI基礎(chǔ)設(shè)施特別是大模型方面，對國外依然有較多依賴。然而，我們也看到了很多好機(jī)會(huì)。例如，國內(nèi)的芯片廠商在人工智能支持產(chǎn)業(yè)應(yīng)用方面取得了快速發(fā)展。我們正在與國內(nèi)的許多芯片廠商合作，進(jìn)行與大模型相關(guān)的軟件聯(lián)合技術(shù)攻關(guān)工作。在這方面，我相信我們核心底層技術(shù)的成熟將持續(xù)降低成本。

李根國：當(dāng)前IT行業(yè)面臨的一個(gè)重要問題就是成本居高不下。其中一個(gè)重要原因是芯片的發(fā)展。芯片發(fā)展到7納米或更低的技術(shù)水平，其研發(fā)和生產(chǎn)過程成本非常高。另外，軟件開發(fā)需要大量的人力投入。例如，在構(gòu)建配套的軟件體系時(shí)，可能需要數(shù)千人參與。所以軟件方面的人力投入、硬件設(shè)施的投入以及計(jì)算機(jī)運(yùn)行過程中的電力投入，都是不可避免的。

從效率的角度來看，我們只能通過提高整個(gè)計(jì)算機(jī)運(yùn)行的效率來降低成本。傳統(tǒng)計(jì)算機(jī)的CPU（中央處理器）使用率往往很低，大部分時(shí)間處于等待狀態(tài)，讀取數(shù)據(jù)的過程浪費(fèi)了很多電能。現(xiàn)代計(jì)算機(jī)體系架構(gòu)發(fā)生了一些變化，例如GPU的趨勢，以及一些新的計(jì)算方法，此外，現(xiàn)在也期待量子計(jì)算機(jī)能夠帶來一些革命性的變化和計(jì)算效率的巨大提升。然而，量子計(jì)算機(jī)目前只在特定行業(yè)具有一些應(yīng)用，并且距離普遍應(yīng)用仍然需要很長的時(shí)間。

澎湃科技：兩位在實(shí)踐過程是否遇到了由于算力短缺和算力價(jià)格的提升，帶來的算力價(jià)格上漲情況？

李根國：我們直接碰到了算力短缺和價(jià)格上漲的情況。以前的超級計(jì)算機(jī)主要面向科研服務(wù)，價(jià)格相對普惠。而現(xiàn)在，因?yàn)槿斯ぶ悄艿陌l(fā)展，特別是大模型的出現(xiàn)，對算力的需求急劇增加。人工智能面向市場和企業(yè)應(yīng)用，大家都在追求大模型。我們以前可能有一些卡，基本上滿足需求。但現(xiàn)在明顯感覺到需要排隊(duì)，可能排隊(duì)的人數(shù)是正在運(yùn)行的十倍以上。大家都需要卡來訓(xùn)練自己的模型。雖然小規(guī)模的算力需求并不一定是訓(xùn)練大模型，但廣泛應(yīng)用的需求也推動(dòng)了算力需求的增加，從而推高了算力的價(jià)格。

趙喬：我們對算力的消耗和需求非常旺盛，也遇到過類似的情況。

一方面，從供應(yīng)的角度來解決問題。比如說，更多類似的供應(yīng)商能夠提供同類型的解決方案；另一方面，如何充分利用現(xiàn)有設(shè)施來降低成本，我們也正在尋求一些技術(shù)手段來解決這個(gè)問題。例如，由于大模型的發(fā)展，過去半年內(nèi)開源領(lǐng)域發(fā)生了非常大的變化?，F(xiàn)在有許多新的方法和策略，可以降低大模型的訓(xùn)練成本。而且，我們也提供了一些在深度學(xué)習(xí)框架層面的技術(shù)，從這些角度來持續(xù)降低成本。

澎湃科技：預(yù)計(jì)這種算力短缺會(huì)持續(xù)多久呢？

李根國：目前是訓(xùn)練大模型的高峰階段，預(yù)計(jì)今年年底會(huì)逐漸下降。因?yàn)榇竽Ｐ突诂F(xiàn)有的大數(shù)據(jù)進(jìn)行訓(xùn)練，一旦模型訓(xùn)練完成，需求可能會(huì)稍微減少。更重要的是，我們需要解決如何在各個(gè)領(lǐng)域中應(yīng)用這些模型的問題。大模型的獨(dú)立訓(xùn)練可能會(huì)暫時(shí)告一段落，接下來會(huì)在各個(gè)領(lǐng)域形成自己的專有應(yīng)用。

趙喬：大煉鋼鐵的階段基本上接近尾聲。但在大模型真正進(jìn)入產(chǎn)業(yè)化應(yīng)用時(shí)，仍然需要持續(xù)的算力消耗，盡管這種消耗可能與訓(xùn)練機(jī)器不太相同。例如，隨著生成式人工智能應(yīng)用政策的明朗，對應(yīng)的服務(wù)能夠開放出來，除了訓(xùn)練機(jī)器之外，對推理算力的需求將越來越大。這將是一個(gè)重大的變化。此外，除了基礎(chǔ)的大模型訓(xùn)練外，后續(xù)可能會(huì)有更多的行業(yè)大模型出現(xiàn)。

此外，人工智能與科學(xué)問題的結(jié)合也是一個(gè)巨大的機(jī)會(huì)，例如與經(jīng)典的計(jì)算流體力學(xué)和制藥領(lǐng)域結(jié)合。但是“ChatGPT時(shí)刻”什么時(shí)候會(huì)到來，我們也不知道。因此，如果這個(gè)領(lǐng)域的“ChatGPT時(shí)刻”到來，預(yù)計(jì)會(huì)有更多的算力需求。

李根國：這個(gè)就是之前一直在說的AI for Science，以前，科學(xué)研究主要依賴于傳統(tǒng)的超級計(jì)算機(jī)進(jìn)行推理，例如解方程等。但現(xiàn)在，人工智能更多地用大數(shù)據(jù)解決問題。其中，生命科學(xué)領(lǐng)域包括與人們直接相關(guān)的醫(yī)療領(lǐng)域，是應(yīng)用最廣泛、推動(dòng)力最大的。通過人工智能方法，生物醫(yī)藥等領(lǐng)域可能會(huì)實(shí)現(xiàn)突破性的發(fā)展。

在科學(xué)研究中，人工智能的應(yīng)用被視為一種新的范式。過去，人類研究主要基于實(shí)驗(yàn)，后來發(fā)展到理論，再然后逐漸發(fā)展為計(jì)算。而現(xiàn)在，我們能夠基于數(shù)據(jù)，更多地基于人工智能進(jìn)行研究，進(jìn)入了智能范式階段。在這個(gè)階段，我們的研究手段發(fā)生了根本性的變化。

“更多算力投入需要依靠商業(yè)公司”

澎湃科技：此次引發(fā)人工智能熱潮的GPT不僅僅是大眾的熱潮，也是創(chuàng)業(yè)潮。對于在人工智能領(lǐng)域創(chuàng)業(yè)的初創(chuàng)公司，他們?nèi)绾闻渲肁I技術(shù)設(shè)施，能否給一些建議或原則性的思路？

趙喬：首先，針對大模型的研發(fā)方向，有些偏底層研發(fā)，有些偏應(yīng)用研發(fā)，不同的創(chuàng)業(yè)團(tuán)隊(duì)選擇的路線和技術(shù)手段可能不同，因此對算力的配置需求也會(huì)有所差異。如果是基于大模型的基礎(chǔ)研發(fā)，算力需求肯定很高，可以按照前面提到的數(shù)據(jù)進(jìn)行估算。但如果是應(yīng)用型的公司，現(xiàn)在經(jīng)過半年多的技術(shù)快速發(fā)展，它們不需要從頭開始訓(xùn)練自己的大模型，可能會(huì)基于開源或商業(yè)模型進(jìn)行一些小的改造，并結(jié)合自身的數(shù)據(jù)來獲得不錯(cuò)的效果。這樣的話，對算力的需求就不像做基礎(chǔ)大模型那樣高，配置起來相對輕松一些。

此外，初創(chuàng)企業(yè)也可以直接圍繞以文心一言為代表的大模型服務(wù)構(gòu)建自己的業(yè)務(wù)，如果直接使用這些能力，成本會(huì)進(jìn)一步降低，比之前提到的自己訓(xùn)練模型的成本更低。因此，圍繞國內(nèi)的大模型開發(fā)上層的AI應(yīng)用也是一個(gè)值得考慮的方向。

可以說，目前對于中國來說，這是一個(gè)機(jī)會(huì)無限的時(shí)代，各個(gè)領(lǐng)域都有發(fā)展的機(jī)會(huì)。從農(nóng)業(yè)時(shí)代到工業(yè)時(shí)代，直接進(jìn)入數(shù)字化信息化的時(shí)代，創(chuàng)業(yè)機(jī)會(huì)非常多。例如無人駕駛在城市道路和農(nóng)業(yè)方面的應(yīng)用，智能工廠等在不同領(lǐng)域都有廣闊的發(fā)展空間。作為計(jì)算機(jī)行業(yè)的人，有更多的機(jī)會(huì)，因?yàn)樵诖竽Ｐ桶l(fā)布后，大模型在各個(gè)領(lǐng)域都有應(yīng)用。

澎湃科技：文心一言是現(xiàn)在關(guān)注度非常高的一個(gè)大模型。我們想知道百度飛槳和文心一言之間是怎樣配合的，有什么樣的邏輯關(guān)系？

趙喬：現(xiàn)在，人工智能技術(shù)軟件棧的結(jié)構(gòu)與以前的操作系統(tǒng)或通用計(jì)算相比，發(fā)生了較大變化。從百度的角度來看，我們定義了四層架構(gòu)：芯片、框架、模型和應(yīng)用。這四層之間密切配合，并相互產(chǎn)生一些化學(xué)反應(yīng)。具體到框架層和模型層，指的就是飛槳深度學(xué)習(xí)平臺(tái)和文心一言。一方面，整個(gè)文心一言的開發(fā)過程，包括從最初的模型訓(xùn)練到工程化上線，都需要飛槳的技術(shù)。我們有許多技術(shù)來支持文心一言的高效開發(fā)。因此，在支持文心一言的研發(fā)和產(chǎn)品化工作方面，我們密切合作。另一方面，由于文心一言的迭代速度很快，有許多創(chuàng)新需求進(jìn)一步反饋給飛槳團(tuán)隊(duì)，因此飛槳也需要不斷進(jìn)行研發(fā)工作。雙方互相補(bǔ)充，不斷向前發(fā)展，這是一個(gè)持續(xù)的過程。

澎湃科技：在這波生成式AI熱潮中，上海超算中心在上海占據(jù)非常重要的位置。那么接下來上海超算中心會(huì)有什么規(guī)劃？如何賦能上海的人工智能產(chǎn)業(yè)集群的發(fā)展？

李根國：上海超級計(jì)算中心作為政府支持的公共服務(wù)平臺(tái)，我們的建設(shè)是通過政府撥款支持的，所以我們的算力規(guī)模不可能非常大，政府的財(cái)力有限，我們提供的是普惠的服務(wù)，只能是引導(dǎo)性的。更多的算力投入需要依靠商業(yè)公司。

因此，我們目前的重要工作之一是建立算力調(diào)度平臺(tái)，通過這個(gè)平臺(tái)，外部的算力，比如運(yùn)營商的算力，通過我們的公共服務(wù)平臺(tái)接入，用戶的需求可以通過公共服務(wù)平臺(tái)進(jìn)行調(diào)度，并利用商業(yè)算力。

我們正在形成統(tǒng)一的調(diào)度機(jī)制，甚至還包括與國家倡導(dǎo)的“東數(shù)西算”工程，能夠與西部地區(qū)的算力進(jìn)行合作，如貴州、寧夏、甘肅、內(nèi)蒙古等地。我們已經(jīng)有了一些接洽，希望能夠使用他們提供的算力。

未來我們希望算力就像電力一樣，能夠提供給用戶使用，但現(xiàn)在還沒有那么容易，因?yàn)樗懔χg差異很大，超算計(jì)算和云計(jì)算之間有很大差別，包括配置和使用方法都不同。但是這些都會(huì)慢慢統(tǒng)一，算力作為基礎(chǔ)設(shè)施會(huì)逐漸統(tǒng)一起來。

當(dāng)前所謂的算力調(diào)度實(shí)際上是將用戶的計(jì)算任務(wù)分配到其他地方去執(zhí)行。例如，用戶通過操作中心的平臺(tái)提交作業(yè)，然后我們將計(jì)算任務(wù)調(diào)度到百度平臺(tái)上完成，這是一個(gè)任務(wù)調(diào)度的過程。算力調(diào)度的概念也是近年來才出現(xiàn)的，隨著算力逐漸成為基礎(chǔ)設(shè)施，我們的調(diào)度也會(huì)逐漸進(jìn)步，以提供更加順暢的服務(wù)給用戶。標(biāo)準(zhǔn)和規(guī)范的制定也會(huì)在行政過程中進(jìn)行。

上海超算中心作為上海市的公共服務(wù)平臺(tái)，我們的能力可能有限，但我們更多地致力于建立接入和調(diào)度的標(biāo)準(zhǔn)，讓更多的商業(yè)公司、科研單位和市民都能夠輕松方便地接入算力資源。

澎湃科技：目前，算力調(diào)度的難點(diǎn)在哪？

李根國：主要包括接入標(biāo)準(zhǔn)制定和算力差異。另外是數(shù)據(jù)傳輸，網(wǎng)絡(luò)也是一個(gè)重要的限制因素。例如，大規(guī)模數(shù)據(jù)傳輸在西部地區(qū)可能會(huì)遇到瓶頸。不過，隨著技術(shù)的改進(jìn)，整個(gè)網(wǎng)絡(luò)也在不斷改善中。

“還沒有看到本質(zhì)上的突破”

澎湃科技：兩位從個(gè)人角度來說，對于這次生成式AI熱潮，包括通用人工智能（AGI）是什么樣的感受，目前的路線是否能實(shí)現(xiàn)通用人工智能？對于未來通用人工智能的發(fā)展是持擔(dān)憂還是樂觀的態(tài)度呢？

李根國：我持樂觀態(tài)度。科技發(fā)展到今天，仍存在許多未知領(lǐng)域需要我們探索。人工智能的方法可能使我們在科學(xué)研究方面取得更大的突破和發(fā)現(xiàn)。

趙喬：生成式人工智能是通用人工智能發(fā)展的曙光，但需要明確的是，人工智能并不能與人類智能劃等號。在某些任務(wù)上，人工智能表現(xiàn)出色，但在許多其他方面仍未達(dá)到理想效果?？偟膩碚f，對于通用人工智能的發(fā)展，我持樂觀態(tài)度。

此外，除了大模型的核心工作外，我們也看到了許多周邊工作的開展，例如LangChain（注：一個(gè)用于開發(fā)由語言模型驅(qū)動(dòng)的應(yīng)用程序的框架）等，這將讓大模型成為內(nèi)核，同時(shí)推動(dòng)通用人工智能的發(fā)展。

整個(gè)領(lǐng)域充滿了技術(shù)創(chuàng)新和活力。作為一個(gè)偏向底層技術(shù)的團(tuán)隊(duì)，我們不僅關(guān)注通用人工智能的路線，還關(guān)注其他經(jīng)典科研路線，如AI for Science等。對于我們團(tuán)隊(duì)來說，有很多事情需要去做，除了支持不同技術(shù)路線的發(fā)展外，我們還需要更好地對接算力、消除不同芯片之間的差異，并提供更好的開發(fā)服務(wù)。

澎湃科技：有觀點(diǎn)認(rèn)為此次生成式AI的技術(shù)熱潮本質(zhì)上并沒有帶來非常新的技術(shù)創(chuàng)新，而更多地是工程上的成就，兩位對此持什么觀點(diǎn)？此外，你們認(rèn)為近期最重要的科技進(jìn)展是什么？

李根國：就我個(gè)人而言，ChatGPT是將人工智能應(yīng)用于自然語言生成領(lǐng)域的突破。此前，人工智能也經(jīng)歷過熱潮，例如20世紀(jì)80年代，可能更多關(guān)注算法，比如機(jī)器學(xué)習(xí)方法的改進(jìn)等。但幾次熱潮都暴露出一個(gè)問題，那就是我們的計(jì)算能力跟不上發(fā)展的速度。現(xiàn)在，我們感覺到算力是可以跟得上的，盡管成本很高。

過去，人工智能在語言方面的生成一直受限，但通過引入大模型，我們看到了革命性的變化。這可能只是突破的開始，接下來可能會(huì)出現(xiàn)人工智能的理論體系和框架。因此，我們認(rèn)為目前只是看到了一些現(xiàn)象上的突破，但還沒有看到其本質(zhì)上的突破。

我最近關(guān)注的科技進(jìn)展，就是在科學(xué)研究領(lǐng)域出現(xiàn)了一些突破和發(fā)展。舉個(gè)例子，之前提到了醫(yī)藥方面的進(jìn)展。而最近的突破是在天氣預(yù)報(bào)領(lǐng)域。傳統(tǒng)的天氣預(yù)報(bào)需要強(qiáng)大的計(jì)算能力支持。我們現(xiàn)在在計(jì)算尺度上取得了突破，例如縮小到1公里精確度，而以前是基于3公里的天氣預(yù)報(bào)。這意味著我們可以提供更精確的局部天氣預(yù)報(bào)，例如指明浦東下雨而浦西不下雨，所以人工智能應(yīng)用于天氣預(yù)報(bào)能夠算得快且算得準(zhǔn)。另外，還有一個(gè)最新的進(jìn)展是在近半年，我在好幾個(gè)領(lǐng)域里面都看到了人工智能應(yīng)用科學(xué)研究后，產(chǎn)生了新的發(fā)現(xiàn)。

趙喬：作為從業(yè)者，我認(rèn)為在工程技術(shù)創(chuàng)新方面是有突破性成果的，這次熱潮給人們帶來了更多的關(guān)注。例如，大家通過嘗試不同的方法和策略，實(shí)現(xiàn)了大模型的高效表現(xiàn)，這是技術(shù)上的一個(gè)突破。另外，產(chǎn)品用戶交互方面也出現(xiàn)了一些突破，這些領(lǐng)域的產(chǎn)品增長也非常顯著。

關(guān)于最近看到的重要科技進(jìn)展，我覺得開源技術(shù)的發(fā)展是最令人深刻的。在半年的時(shí)間里，開源技術(shù)的發(fā)展非常迅速。雖然對于百度來說，我們對這些技術(shù)比較熟悉，但對于更多希望獲得大模型技術(shù)的人來說，這些技術(shù)可能是神秘的，不知道如何應(yīng)用和獲得好的效果。然而，最近半年，從大模型的開發(fā)訓(xùn)練到推理部署的技術(shù)，開源技術(shù)的發(fā)展變化非?？焖?，幾乎每周都有新變化。這種開源的創(chuàng)新推動(dòng)著人工智能領(lǐng)域的進(jìn)步，比我們過去幾年見到的創(chuàng)新更快，更多。