來源丨元宇宙簡史

作者丨元宇宙簡史主理人 Fun

【元宇宙導(dǎo)讀】TPU v4性能確實卓越，但是AI芯片向來競爭激烈，而且人工智能技術(shù)本身有很多的不確定性和風(fēng)險。未來，谷歌是否能夠保持其在人工智能硬件領(lǐng)域的領(lǐng)先地位，還有待觀察。

人工智能（AI）是當(dāng)今科技領(lǐng)域最熱門的話題之一，也是各大科技公司競相投入的領(lǐng)域。

要訓(xùn)練出高性能、高智能的AI模型，不僅需要大量的數(shù)據(jù)和算法，還需要強(qiáng)大的計算能力和硬件支持。

在這方面，谷歌一直走在前沿，自2016年以來，就推出了專為機(jī)器學(xué)習(xí)定制的專用芯片（ASIC），即張量處理器（Tensor Processing Unit，TPU）。TPU采用低精度計算，在幾乎不影響深度學(xué)習(xí)處理效果的前提下大幅降低了功耗、加快運算速度。同時，TPU使用了脈動陣列等設(shè)計來優(yōu)化矩陣乘法與卷積運算。

目前，谷歌90%以上的人工智能訓(xùn)練工作都在使用這些芯片，TPU支撐了包括搜索、語音識別、自然語言處理、圖像識別等谷歌主要業(yè)務(wù)。

本周二，谷歌首次公布了其用于訓(xùn)練人工智能模型的AI芯片TPU v4的詳細(xì)信息，并稱比英偉達(dá)系統(tǒng)更快、更高效——與同等規(guī)模的系統(tǒng)相比，谷歌超級計算機(jī)比基于英偉達(dá)A100芯片的系統(tǒng)最高快1.7倍，節(jié)能效率提高1.9倍。

英偉達(dá)A100芯片是該公司于2020年推出的旗艦人工智能GPU芯片，擁有540億個晶體管，并采用7納米芯片制造工藝。英偉達(dá)A100芯片被廣泛應(yīng)用于各種人工智能領(lǐng)域，如自然語言處理、計算機(jī)視覺、推薦系統(tǒng)等。

那么，谷歌是如何做到超越英偉達(dá)的呢？答案在于其自研的第四代張量處理器（TPU v4）和其基于光通信器件的超級計算機(jī)架構(gòu)。

根據(jù)谷歌發(fā)表在arXiv上的論文《TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings》，該公司利用自己定制的光開關(guān)將4000多個TPU v4芯片組合到一臺超級計算機(jī)系統(tǒng)中。這樣做的好處是可以輕松地動態(tài)重新配置芯片之間的連接，有助于避免出現(xiàn)問題并實時調(diào)整以提高性能。

此外，這種光通信器件還具有成本低、功耗低、速度快等優(yōu)點。

論文中還介紹了TPU v4芯片的設(shè)計特點，其中最引人注目的是稀疏核（SparseCore，SC）。SC是一種用于嵌入訓(xùn)練的特定領(lǐng)域處理器（Domain Specific Processor，DSP），可以高效地處理稀疏矩陣乘法，從而加速嵌入訓(xùn)練的過程。

嵌入訓(xùn)練是一種常用的人工智能技術(shù)，可以將高維稀疏的數(shù)據(jù)（如文本、圖像、音頻等）映射到低維稠密的向量空間，從而提取數(shù)據(jù)的語義信息。TPU v4芯片中每個SC都有一個獨立的內(nèi)存控制器，可以并行地從內(nèi)存中讀取數(shù)據(jù)，并將結(jié)果寫回內(nèi)存。

論文中給出了一個實驗結(jié)果，使用TPU v4芯片進(jìn)行嵌入訓(xùn)練時，相比于使用TPU v3芯片，可以獲得2.7倍的性能提升。

 

除了SC之外，TPU v4芯片還包含了多個矩陣乘法核（Matrix Multiplication Unit，MMU），用于執(zhí)行常規(guī)的矩陣乘法運算。MMU也采用了低精度計算和脈動陣列等技術(shù)來提高效率。

論文中還介紹了TPU v4芯片的其他特性，如支持多種數(shù)據(jù)類型（包括bfloat16、int8、int32等）、支持多種計算模式（包括同步、異步、流水線等）、支持多種通信模式（包括點對點、廣播、聚合等）等。

谷歌表示，其AI芯片TPU v4已經(jīng)在其云平臺上提供服務(wù)，并且已經(jīng)被用于訓(xùn)練一些大規(guī)模的人工智能模型，如Switch Transformer1和GShard2。這些模型都是基于自注意力機(jī)制（Self-Attention Mechanism）的變換器（Transformer）模型，可以處理自然語言理解和生成等任務(wù)。

谷歌還表示，其AI芯片TPU v4在未來還將支持更多的人工智能應(yīng)用場景，如計算機(jī)視覺、推薦系統(tǒng)、強(qiáng)化學(xué)習(xí)等。

但是，AI芯片向來競爭激烈，以及人工智能技術(shù)本身的不確定性和風(fēng)險。未來，谷歌是否能夠保持其在人工智能領(lǐng)域的領(lǐng)先地位，還有待觀察。

嚴(yán)正聲明：本文為元宇宙簡史原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載！內(nèi)容僅供參考交流，不構(gòu)成任何投資建議。任何讀者若據(jù)此進(jìn)行投資決策，風(fēng)險自擔(dān)。