Co je to inference?
Nový procesor byl navržen speciálně pro potřeby inferenčních systémů OpenAI. Pojďme si tedy nejprve vysvětlit, co to vůbec je. Trénování AI modelu si představte jako víceletou školu. Model se učí na obrovském množství dat, absorbuje vzory, vztahy a znalosti. Tento proces je extrémně náročný na výpočetní výkon a probíhá pouze jednou, nebo při vydání nové verze modelu.
Inference je pak to, co se děje po natrénování modelu každou sekundu milionkrát denně. Když napíšete dotaz do ChatGPT, Claude nebo Copilotu, natrénovaný model zpracuje váš vstup a vygeneruje odpověď. Právě tento proces se nazývá inference.
Je to jako rozdíl mezi tím, kdy se student učí, a tím, kdy udělá praktickou zkoušku. Čím levněji a rychleji je možné inferenci provozovat, tím dostupnější a levnější může být AI pro koncové uživatele i firmy. A přesně na to Jalapeño míří.
Mohlo by vás zajímat
Devět měsíců místo několika let
Vývoj vlastního čipu na míru obvykle trvá roky. OpenAI a Broadcom zvládly celý cyklus od prvotního návrhu po finální výrobní verzi za pouhých devět měsíců. Umožnily to vlastní modely OpenAI, které pomáhaly urychlovat části procesu navrhování.
Je to rekurzivní smyčka: AI modely, které dnes zpracovávají dotazy uživatelů, pomáhaly navrhnout čip, na němž budou příští generace modelů běžet. Greg Brockman, prezident OpenAI, vyzdvihl tento strategický krok s tím, že pomůže zpřístupnit a zefektivnit umělou inteligenci.
Architektura navržená od základů
Jalapeño není upravenou verzí existujícího GPU. Čip byl navržen přímo pro potřeby AI na základě toho, jak velké jazykové modely fungují v praxi, se zaměřením na snížení přenosu dat, efektivitu paměti a síťovou propustnost. Součástí platformy je také síťový čip Tomahawk od Broadcomu pro vysokorychlostní propojení serverů v datových centrech.
Předběžné testy naznačují výkon na watt, který je podstatně lepší než u současné špičkové konkurence. Podle informací agentury Bloomberg by čip mohl snížit náklady na inferenci přibližně o 50 procent, což by byl zásadní ekonomický posun pro firmu, jejíž výzkumné a vývojové náklady v roce 2025 dosáhly přibližně 430 miliard korun.
Mohlo by vás zajímat
Konec závislosti na Nvidii?
OpenAI jde ve stopách Applu, AWS a Googlu, kteří chtějí kontrolovat hardware, software i infrastrukturu, tedy tzv. full stack. Jalapeño nenahradí Nvidii úplně. Trénování nových modelů bude i nadále vyžadovat výkonné GPU, ale u inference může přinést největší úspory.
Chatboti a AI agenti jsou dnes běžnou realitou pro stovky milionů lidí. Jalapeño je proto víc než technická kuriozita. Je to vstupenka OpenAI do nové éry, kdy firma nejen vyvíjí modely, ale i plně kontroluje infrastrukturu, na níž běží. První nasazení je plánováno na konec roku 2026, plný provoz pak na druhou polovinu roku 2028.
Zdroj: OpenAI, Broadcom, Datacenter dynamics, TechCrunch
15 foto
