商機解析〉  低耗電、低成本 Google、Meta都買單 客製化晶片ASIC夯什麼 - 今周刊
在今天看見明天
熱門: 006208 00900 00896 天氣 AI
投資理財
保險稅制
產業時事
職場生活
今周大耳朵 Podcast
富足今周起
幸福熟齡
ESG永續台灣
專題報導
今選頻道
存股助理
今周學堂
訂購優惠
活動報名

商機解析〉  低耗電、低成本 Google、Meta都買單 客製化晶片ASIC夯什麼

商機解析〉   低耗電、低成本  Google、Meta都買單 客製化晶片ASIC夯什麼
輝達不僅稱霸AI晶片市場,也積極染指AI資料中心用超高速網路晶片市場。圖為輝達執行長黃仁勳。

吳筱雯

科技

攝影/陳睿緯

1464期

2025-01-08 11:14

(今周刊1464)

不同於輝達GPU這類通用晶片,由一線雲端服務業者與博通、世芯-KY、聯發科等攜手打造的ASIC,正是各大雲端業者,試圖擺脫過度依賴單一供應商的最佳利器。

輝達(NVIDIA)在AI晶片與算力市場,市占率、營收、獲利全面稱霸,但有一家IC設計公司,靠著協助一線雲端業者打造AI運算所需的ASIC(特定應用積體電路),過去一個月當全球AI股價向下修正的同時,它橫空而出,不僅逆勢狂漲超過三二%,更輾壓漲幅七%的輝達。

 

這家IC設計公司,就是在網通晶片市場呼風喚雨多年的博通(Broadcom)。

 

到底什麼是ASIC?博通憑什麼能為一線雲端服務業者打造AI ASIC而暴紅?

 

ASIC是為了特定應用、特定演算法而設計的晶片,比起CPU(中央處理器)、GPU(繪圖晶片)這類通用晶片,ASIC具有四大優點,也就是在執行特定應用或特定演算法時的速度比GPU快很多,且相對不會缺貨;再者是,比起GPU打造的AI伺服器是吃電怪獸,採用ASIC的AI伺服器省電很多,且對一線雲端服務業者來說,採用ASIC的AI伺服器總持有成本,會比用GPU的明顯便宜不少。

 

三圖表揭ASIC玩家有誰、市場多大!

 

發展史》Google早在十年前即投入

 

ASIC的好,一線雲端服務業者早就看見了。以Google為例,除了採購輝達的GPU之外,為了滿足內部對於機器學習、深度學習等雲端AI需求,早在十年前,Google就開發出第一代TPU(張量處理器),而亞馬遜旗下的雲端運算服務AWS,則在一五年推出專為自家伺服器打造的處理器Graviton,二○一九年推出首款用於AI推論的晶片Inferentia、二○年亮相第一代的AI訓練晶片Trainium。

 

AI ASIC發展這麼久,但對比於輝達的GPU,ASIC的市場還是「小巫見大巫」。根據摩根士丹利(大摩)報告預估,二四年全球AI ASIC市場規模約為一二○億美元,以輝達為主的GPU市場規模卻高達一二七二億美元以上,在龐大的雲端AI晶片市場中,ASIC占有率只有區區十一%。

 

然而,AI ASIC卻在二四年十二月突然獲得華爾街的青睞,部分外資甚至看好ASIC將能威脅輝達。這都是因為,博通在二四年十二月中的法說會時,執行長陳福陽透露了令市場興奮的消息,那就是博通二四年會計年度(二三年十一月一日至二四年十月三十一日),AI ASIC與資料中心用的超高速網路晶片營收達一二二億美元,比前一年大增二二○%。

 

亮眼的營收之外,陳福陽更描繪了一個博通的AI美麗未來──博通現有三位客戶的市場規模,  也就是博通的服務可觸及市場(Serviceable Addressable Market),將從二四年的一五○億至兩百億美元,成長至二七年的六百億至九百億美元。

 

這個未來三年潛在市場將倍數以上成長的預言,並非空穴來風,外資看到的成長趨勢,也是高仰角向上。大摩預估,整體雲端AI晶片(含客製化與通用型晶片)二三年至三○年的年複合成長率高達三四%,其中,AI ASIC的規模在二五年將成長八三%,  來到二二○億美元,至二七年將上看三百億美元。花旗則認為,目前雲端資料中心用的AI晶片中,每四個就有一個是ASIC。

 

也因為AI ASIC已經是一股不容忽視的新勢力,市場傳出,連輝達都已籌組團隊,準備跨入AI ASIC市場。

 

陳福陽在十二月的法說會時進一步表示,「未來三年,博通在AI的商機非常巨大,因為一線雲端服務業者都開發自己的AI ASIC,」不只如此,「客戶的資料中心都會用我們的超高速網路晶片來連接伺服器。」他更預期在二七年時,「每一個客戶都會在單一網路上部署一百萬個採用ASIC的AI伺服器叢集。」除了既有的三家客戶外,他透露還有兩家一線雲端服務業者,已經選擇博通為開發AI ASIC的合作夥伴。

 

陳福陽的底氣在於,一線雲端業者對於AI ASIC的認真投資,已經反映在他們的產品藍圖,帶動ASIC市場需求持續成長。Google的TPU如今已經推出第六代產品,市場預期第七代TPU將在二六年或二七年時推出;AWS第三代AI推論晶片有機會在二五年啟動開發計畫,AWS第三代AI訓練晶片則計畫在二五年底之前開始提供服務;至於Meta、微軟也在二三年競相宣布將推出自己的AI ASIC。

 

這些一線雲端服務業者動作頻頻,他們卻無法只靠自己設計出晶片,得仰賴擁有IP與後段投片經驗的IC設計服務業者協助,這就給了包括博通在內、各大IC設計公司、IC設計服務業者莫大的商機想像空間。

 

ASIC省電、成本低 但算力不如GPU ——AI ASIC與GPU優缺點解析

 

看業界》博通收費最高、手握IP多

 

大摩在報告中指出,包括邁威爾(Marvell)、聯發科、世芯-KY、創意等全球主要提供AI ASIC服務業者在內,博通的收費最高;然而,博通十年前就協助Google打造TPU,擁有大量優良的歷史紀錄,加上博通能夠從前段設計到後段投片都提供服務,手中握有的IP夠多,成為多家一線雲端服務業者的首選。

 

摩根大通(小摩)便估計,博通目前在AI ASIC市占率高達五五%至六○%,遠超過第二名邁威爾的十三%至十五%。

 

業界人士透露,博通三大AI ASIC客戶除了Google、Meta,還包括抖音的母公司字節跳動。至於陳福陽在法說會提及的兩個新客戶,外界則傳出是蘋果、OpenAI,且博通更一口氣拿下OpenAI兩個世代的AI ASIC訂單。

 

不過,由博通領軍的ASIC大軍,真能威脅輝達的霸主地位嗎?

 

談挑戰》簡立峰:三原因難撼動輝達

 

前Google台灣董事總經理、現任日本上市AI企業沛星Appier與AI新創iKala獨立董事簡立峰,就不這麼認為。

 

簡立峰解析,近來一線雲端業者紛紛投入AI ASIC開發的原因很簡單,「輝達太貴了,有自己的晶片,二四年跟輝達議價時,比較好談。」簡立峰更透露,就他的了解,發展AI ASIC最久的Google,跟輝達談到的GPU價格最低,「輝達吃定Meta什麼都沒有,拿到的價錢最貴。」

 

AI ASIC來勢洶洶,然而簡立峰強調,ASIC很難撼動GPU的主流地位。第一個原因是,AI ASIC算力不如GPU。AI模型訓練階段不能光靠ASIC解決,「Google在演算法開發期間,都讓工程師用GPU來加快開發速度,已開發完成的模型才轉用TPU來提供服務。」

 

GPU與AI ASIC算力的差異,從美國PC硬體效能評估媒體Tom's Hardware做的比較就能看出來,AWS現有最新的第二代AI訓練晶片要用高達十萬個,才能約略等於三.二七萬個輝達H100所提供的算力。而輝達已經進入最新的、算力更高的B200了。

 

第二個原因是,簡立峰解釋,「ASIC只能用在特定的演算法。」輝達執行長黃仁勳也有類似的看法,他認為ASIC缺乏彈性,「一旦AI的工作內容改變,它就會變得毫無用處,」GPU的優勢在於彈性和通用性,「AI模型變化非常快,GPU之所以有效率,正是因為它能夠適應這些變化。」

 

最後一個原因是,現在AI模型大多建立在輝達開發的軟體運算平台CUDA(統一計算架構)之上,不容易被取代。由於CUDA只能在輝達GPU上使用,如果把建立在CUDA的模型改到AI ASIC平台裡訓練、推論,軟體、工具不僅不好用,還得重新學,「工程師何必呢?他們用現成的輝達加CUDA就好了。」簡立峰表示。

 

如果把時間拉長到未來五至十年,簡立峰認為,一線雲端服務業者或多或少仍會有AI ASIC的需求,「雲端業者做推論時,他們知道自己的演算法,用自己的ASIC一定是成本、效率、耗電的最佳化,」如果這個演算法服務很多使用者,雲端業者為它開專屬的晶片,很合理。

 

像AWS、Google Cloud,除了自己投資或開發的模型之外,更把自己當成「AI雜貨店」,不論誰開發的模型都支援、AI ASIC與GPU都用,「當然晶片的成本愈便宜、用的電愈少,他們的利潤愈好,只是這個需求不會太大。」簡立峰說。

 

而從大摩的報告中也可以看出,三○年AI ASIC在整體雲端AI晶片的滲透率預估還是只有十五%,沒有比目前的十一%增加太多,代表AI ASIC市場規模僅是跟隨一線雲端服務業者的資本支出同步成長,成長性沒有大幅優於市場。

 

簡立峰評估,輝達股價最大的敵人不是AI ASIC,而是CoWoS的產能瓶頸什麼時候解除,「這才是影響輝達毛利率的關鍵。」他認為,全世界有AI訓練需求的企業都需要GPU,現在CoWoS產能不足、影響輝達的供應量,讓輝達能用極高價只賣少數「有錢人」(一線雲端服務業者)。他直言,「等CoWoS供應夠了、量開出來了,銷售對象必須從『有錢人』擴增至『中產階級』(大型企業)、甚至是『窮人』(中小企業),價格不可能定到像現在這麼高。」

 

即使是挾著AI ASIC趨勢而大漲的博通,也深知自己和輝達是既合作又競爭的關係。

 

陳福陽在二四年年中的法說會上指出,博通做的是ASIC、不做GPU,但當客戶希望串起資料中心內大量的GPU時,少不了博通的網通晶片,「全世界八個最大的AI運算叢集中,有七個採用博通的技術。」他話鋒一轉,博通雖然不與輝達在GPU領域競爭,「但在網路世界不一樣,有人想從不同角度切入。」直指輝達積極染指因AI需求而快速成長的超高速網路交換機市場。

 

兩大「反輝達」陣營開發新標準 博通都占有角色 ——反輝達兩大陣營

 

新戰線》高速網路交換機晶片  博通領先

 

根據市調機構Fact.MR資料顯示,二四年全球資料中心用超高速網路交換機市場規模為一六一.一億美元,預估在三四年將成長至二六七.六億美元,年複合成長率為五.二%。

 

目前連接AI伺服器的網路交換機技術中,輝達挾著在GH200、GB200機櫃導入幾乎由輝達寡占、具有超低延遲優勢但售價高昂的InfiniBand技術,與開放標準、具有成本優勢的乙太網路爭鋒。不過,InfiniBand除了應用在輝達的GH200、GB200之外,僅有全球前一百大超級電腦採用,業界估計,InfiniBand的市占率應該低於一成。換言之,九成的雲端資料中心、算力農場內的伺服器,都是靠乙太網路交換機連接。

 

小摩則估計,在雲端資料中心用超高速乙太網路交換機晶片市場,目前博通的占有率高達八成,即使輝達在二四年推出相對應的超高速乙太網路交換機晶片Spectrum-X,展現無論如何都要分到乙太網路市場一杯羹的雄心,小摩仍認為,博通的超高速乙太網路交換機晶片比輝達領先九至十二個月,更比邁威爾、思科等競爭對手領先十二個月以上,博通的領先優勢暫時無人能撼動。

 

在博通領軍的AI ASIC與輝達主導的GPU競賽中,GPU已經確定勝出,但兩者在雲端AI的世界裡,將會並存很長一段時間。不過,在AI資料中心的高速網路交換機晶片市場,雙方的攻防戰才剛剛展開,鹿死誰手尚難定論,可以確定的是,在賽事第一局,博通目前遙遙領先。

延伸閱讀
陳福陽與張忠謀
陳福陽與張忠謀

2025-01-08

領軍「非輝達」新勢力, 近一季   市值逆勢成長38%衝破30兆,媲美台積電  大標:他是下一個黃仁勳? —博通打工皇帝陳福陽拚搏傳奇—
領軍「非輝達」新勢力, 近一季 市值逆勢成長38%衝破30兆,媲美台積電 大標:他是下一個黃仁勳? —博通打工皇帝陳福陽拚搏傳奇—

2025-01-08

哪些AI股領漲那斯達克指數?台積電ADR大漲近5%、博通市值首破1兆美元,道瓊連7黑「創最長連續跌幅」
哪些AI股領漲那斯達克指數?台積電ADR大漲近5%、博通市值首破1兆美元,道瓊連7黑「創最長連續跌幅」

2024-12-14

股王世芯登全球IC設計服務龍頭!不懼NVIDIA、博通、聯發科競爭,未來每年目標「至少」成長3成
股王世芯登全球IC設計服務龍頭!不懼NVIDIA、博通、聯發科競爭,未來每年目標「至少」成長3成

2024-03-01

博通狠砸610億美元收購VMware,晶片業史上最大手筆!景氣不明還出手打的是什麼算盤?
博通狠砸610億美元收購VMware,晶片業史上最大手筆!景氣不明還出手打的是什麼算盤?

2022-05-27