Google lanserar nya TPU:er – 8t och 8i

Wed, 22 Apr 2026 15:45:30 +0200

Google presenterade på tisdagen två olika TPU:er av åttonde generationen, en för träning och en för inferens, och återupptog därmed strategin med delade chipp i en tid då molnleverantörerna tävlar om att skräddarsy AI-hårdvara för vitt skilda krav på prestanda och kostnad. Företaget har tidigare experimenterat med differentierade TPU-varianter, särskilt med sina femte generationens V5p- och V5e-chipp, men de senaste generationerna, såsom Trillium och Ironwood, har i stort sett följt en strategi med en enda design. De delade designerna på de nya chippen är, enligt Phil Fersht på HFS Research, ett strategiskt drag från Google för att anpassa sin hårdvara bättre till olika stadier i AI-livscykeln inom företag, vilket potentiellt kan förbättra utnyttjandet och kostnadseffektiviteten i produktionsmiljöer. – Träning och inferens skiljer sig nu åt när det gäller ekonomi, minnesbeteende, nätverksbehov och köpmönster. Kunderna vill i allt högre grad ha rätt pris-prestandakurva för varje steg i modellens livscykel, inte en accelerator som passar alla, säger Fersht. I praktiken skulle möjligheten att välja mellan två TPU-varianter hjälpa företag att undvika att betala kostnader för träning för inferensintensiva arbetsbelastningar, säger Charlie Dai, chefsanalytiker på Forrester. I linje med Dai påpekar Trendforce-analytikern Fion Chiu att det mer kostnadseffektiva 8i-chippet skulle hjälpa företag att implementera större modeller till ett lägre pris. För modellleverantörer, som Open AI och Anthropic, möjliggör valet av chipp, påpekar Dai, en tydligare åtskillnad mellan tränings- och driftsflottor, samtidigt som det fortfarande går att återanvända gemensamma verktyg och kodvägar, vilket i sin tur sänker de totala kostnaderna, förbättrar flottans effektivitet och förenklar övergångarna i modellens livscykel. Faktum är att Google inte är den enda chpipleverantören som går vägen med delad design, säger Stephen Sopko, analytiker på Hyperframe Research, och gav exemplet med AWS, som har två distinkta chipp – Trainium och Inferentia – för olika AI-arbetsbelastningar. Hur är 8t och 8i bättre än Ironwood? Även om den delade designen speglar förändrade ekonomiska förhållanden, är de två chippen också byggda för att ge tydliga tekniska fördelar jämfört med sin föregångare, Ironwood. TPU 8t, den träningsfokuserade varianten, erbjuder enligt Google nästan tre gånger så hög beräkningsprestanda per pod, större superpods och dubbelt så hög bandbredd mellan chippen jämfört med Ironwood. Medan Ironwood levererar 42,5 exaflops över en pod med 9 216 chipp, skalar TPU 8t upp till 121 exaflops över 9 600 chipp, tillsammans med en fördubbling av den dubbelriktade skalningsbandbredden till 19,2 Tbps per chip och en fyrdubbling av nätverksbandbredden till 400 Gbps, uppgav företaget i ett uttalande. Enligt Omdias chefsanalytiker Alexander Harrowell kommer den ökade prestandan och bandbredden mellan rack att stödja träning av ännu större modeller med kortare körningar jämfört med Ironwood. Däremot representerar TPU 8i, den inferensfokuserade varianten, en mer betydande avvikelse, med minst tre gånger så mycket minne, från Ironwoods designprioriteringar, enligt Harrowell. TPU 8i introducerar 288 GB minne med hög bandbredd i kombination med 384 MB SRAM på chippet, vilket enligt Harrowell för TPU:er närmare minnesfotavtrycket hos ledande GPU:er. Det utökade SRAM-minnet på chippet, noterar analytikern, kommer att bidra till att hålla aktiva modelldata närmare processorn, vilket i sin tur minskar latensen under inferens, särskilt när modellerna växer i storlek och komplexitet. Arkitektoniska förändringarna i 8i återspeglar branschens gradvisa övergång till Mixture of Experts (MoE) och modeller med lång kontext, som förväntas växa ytterligare i storlek i framtiden, säger Sopko från Hyperframe Research. – Stora RAM- och pod-storlekar krävs nu för att hålla modeller med biljoner parametrar och kontextfönster med miljoner token i minnet under servering, säger Sopko. Jämfört direkt med Ironwood, som erbjuder 256 chipp per pod och 1,2 exaflops per pod, erbjuder TPU 8i podar som kan skalas upp till 1 152 chipp, vilket genererar 11,6 exaflops per pod. Utöver skalbarhet och minne förbättrar de nya chippen, enligt Google, systemeffektiviteten jämfört med Ironwood, vilket ger dubbelt så bra prestanda per watt och en tätare integration med Googles Axion Arm-baserade CPU-värdar. TPU 8t och 8i kommer att göras allmänt tillgängliga senare i år som en del av Googles AI Hypercomputer-plattform.