Firma Groq stworzyła silnik wnioskowania, który znacząco przyspiesza działanie modeli AI. Sztuczna inteligencja może generować odpowiedzi jeszcze szybciej niż dotychczas i zniwelować opóźnienia obecnie dostępnych narzędzi.
Sztuczna inteligencja i jej szybkość
ChatGPT, Gemini (wcześniej Bard) czy Copilot (wcześniej Bing AI) zyskują na popularności, a technologiczni giganci sukcesywnie rozszerzają możliwości tych sprytnych narzędzi. Sęk w tym, że sztuczna inteligencja nadal pozostaje nieco w tyle pod względem czasu oczekiwania na odpowiedź. Duże opóźnienia, szczególnie podczas korzystania z zapytań głosowych, są często efektem zastosowania przez użytkownika języka naturalnego.
Firma założona przez inżynierów Google TPU (Tensor Processing Unit) ma jednak na to sposób, gdyż opracowała silnik wnioskowania LPU (Language Processing Unit). Chip marki Groq to sposób na pokonanie sporych opóźnień w odpowiedzi, jakie funduje nam sztuczna inteligencja. Wydajność nowej technologii pozwala na wygenerowanie nawet 500 tokenów w ciągu każdej sekundy w obrębie modelu 7B. Dla porównania – ChatGPT, korzystający z chipów marki Nvidia, pozwala na przetworzenie od 30 do 60 tokenów na sekundę. Różnica jest więc naprawdę ogromna.
Jak to możliwe, że Groq jest tak szybki?
Budowa układu Groq jest zupełnie inna w porównaniu na przykład do tych proponowanych przez markę Nvidia. Jak wynika z informacji, w celu opracowania tej technologii na początku stworzono stos oprogramowania wraz z kompilatorem, po czym dopiero zabrano się za projektowanie i budowę. Podstawą było więc najpierw stworzenie silnika o wysokiej wydajności, co determinowało późniejsze działania.
Architektura Groqa otrzymała zbliżoną formę działania do specjalizowanego układu scalonego (ASIC). Chip projektowany i wytwarzany jest na specjalne zamówienie o konkretnym przeznaczeniu i zadaniu. W tym przypadku technologia ta została opracowana dla danych wykorzystywanych przez duże modele językowe i nadaje się do wnioskowania, ale nie szkolenia AI.
Na ten moment Groq zajmuje się obsługą dwóch modeli, takich jak Llama 70B oraz Mixtral-8x7B. Portal Beebom zdołał przetestować najnowszą propozycję. Sztuczna inteligencja była w stanie działać z prędkością 527 tokenów na każdą sekundę.
