Rozwój AI chyli się ku końcowi… Przynajmniej, tak sądzą badacze z amerykańskiego uniwersytetu MIT, którzy przeanalizowali 1000 artykułów naukowych z serwisu arXiv. Oto ich wnioski.
Brakuje nam już mocy obliczeniowej. Naukowcy uważają, że już niedługo będziemy w sytuacji, w której próby ulepszania modeli uczenia maszynowego nie będą opłacalne. Może mieć to nawet zły wpływ na środowisko naturalne.
To tylko hipotetyczne…
Jak piszą naukowcy z MIT:
Próby rozwoju AI teraźniejszymi metodami szybko stają się ekonomicznie, technicznie i środowiskowo nieefektywne. Dlatego właśnie, jeśli chcemy kontynuować progres w tych dziedzinach, będziemy potrzebować metod o większej efektywności obliczeniowej, co może oznaczać duże zmiany w uczeniu maszynowym, a nawet przejście na zupełnie inne metody tworzenia modeli sztucznej inteligencji.
„Progress along current lines is rapidly becoming economically, technically, and environmentally unsustainable. Thus, continued progress in these applications will require dramatically more computationally-efficient methods, which will either have to come from changes to deep learning or from moving to other machine learning methods.”
To może być szok dla wszystkich entuzjastów trenowania modeli AI na własnym sprzęcie, lecz, tak naprawdę, jest to bardzo kosztowny proces, z którego nie otrzymujemy już tak wiele korzyści, jak kilka lat temu. Sprytne algorytmy nie przyniosą rewolucji.
Na przykład, gdyby ktoś chciał zreplikować jeden z najlepszych generatorów tekstu firmy OpenAI, GPT-2, zużyłby ogromną ilość prądu, a co za tym idzie – wytworzyłby równie dużo dwutlenku węgla.
Ogromne koszty
Poniższa tabelka pokazuje, jaki impakt na naszych portfelach i środowisku ma tworzenie modeli AI:
W skrócie, AI nie od dziś boryka się z tym problemem. Niektórzy naukowcy sądzą, że algorytmy uczenia maszynowego były limitowane przez moc obliczeniową naszego sprzętu od lat 50. ubiegłego wieku. Obecny renesans sztucznej inteligencji osiągnęliśmy głównie dzięki optymalizacjom, a nie postępie technicznym (choć nie można zaprzeczyć, że on też się do tego przyczynił).
Oczywiście, nie poddajemy się. Miliony zdolnych uczniów i pracowników działu IT wciąż marzą o pracy w dziedzinie sztucznej inteligencji. Jeśli istnieje jakiekolwiek wyjście, to je znajdziemy.
Nawet twórcy powyższego artykułu naukowego uważają, że jest jeszcze miejsce na dalszą optymalizację. Być może, to jednak komputery kwantowe będą odpowiedzią. A stąd, już niedaleko nam do technologicznej osobliwości.
