GPT-3

GPT-3 od OpenAI właśnie zrewolucjonizował przeglądarkę

Firma Elona Muska, OpenAI, zaprezentowała właśnie swoje najnowsze osiągnięcie. Jest to jej trzeci generator tekstu, adekwatnie nazwany GPT-3. Nie oceniaj książki po okładce – to naprawdę ekscytujące.

GPT-3 już został użyty do automatycznego uzupełniania wyrazów (ang. autocomplete), tworzenia niezwykłych przeglądarek internetowych i ułatwienia stylizowania graficznego stron WWW. Wszystko to dlatego, że program OpenAI rozumie kontekst pomiędzy wyrazami, a co za tym idzie – naszą mowę.

Przyszłość przeglądarek? / źródło: Twitter

Po kolei

Około roku 2012 nastąpił przełom w przetwarzaniu obrazu przez algorytmy uczenia maszynowego. Przyniosło to wiele zastosowań wizji komputerowej oraz modeli GAN, takich jak autonomiczne samochody i rozpoznawanie twarzy. Specjaliści mówią, że najnowsze osiągnięcie OpenAI w ten sam sposób zrewolucjonizuje przetwarzanie tekstu, przyczyniając się nawet do rozwoju silnej sztucznej inteligencji.

W końcu, czym jest ludzka mowa, jeśli nie bardzo rozwiniętym generatorem tekstu?

GPT to skrót od Generative Pre-trained Transformer, co oznacza generatywny przetrenowany transformator. Jak każdy model AI, szuka on powtarzalnych wzorów w zestawie danych, dzięki czemu może przewidzieć rezultat wprowadzenia nowych, nieznanych dotychczas informacji. Idealnie się to wpasowuje do automatycznego uzupełniania wyrazów w naszych przeglądarkach.

Na przykład, jeśli wpiszesz słowo woda w GPT-3, system ten wie, że bardziej prawdopodobnym następstwem tego wyrazu są mineralna lub gazowana, a nie komputerowa. Dla nas może wydawać się to bardzo proste, ale skąd maszyna miała to wiedzieć?

Trzeci GPT zbuduje za nas nawet strony internetowe / źródło: Twitter

Jedyny w swoim rodzaju

Trzeci model GPT wyróżnia skala, na której operuje. Posiada on aż 175 miliardów parametrów, czyli połączeń pomiędzy neuronami w sieci. Dla porównania, pierwszy z nich, stworzony zaledwie 2 lata temu, dostępnych miał ich 117 milionów. Za to GPT-2, który niezmiernie przyczynił się do rozwoju sztucznej inteligencji, posiadał ponad 100 razy mniej parametrów (1,5 miliarda).

GPT-3 od OpenAI właśnie zrewolucjonizował przeglądarkę 8
Parametry związane są nierozłącznie z ukrytymi warstwami sieci neuronowej / fot. MicroMedium

Jedną z limitacji tworzenia AI w dzisiejszych czasach może być brak wystarczająco dużych baz danych. W końcu, więcej danych = lepsze rezultaty. GPT-3 stworzony został jednak z użyciem prawdziwego giganta wśród baz. Nie wiemy dokładnie, jak duża była, lecz szacuje się, że cała angielska Wikipedia, czyli około 6 milionów artykułów, to zaledwie 0,6% z niej.

Zastosowania GPT-3

Z takimi danymi wyniki GPT-3 powinny być równie imponujące. Choć wciąż trudno nam zrozumieć ich skalę, oto kilka z zastosowań, na które już wpadli programiści:

  • pytania i odpowiedzi. Wpisujesz pytanie w wyszukiwarkę, lecz zamiast strony internetowej, uzyskujesz kilku zdaniową, dokładną odpowiedź;
  • rozmawianie z historycznymi postaciami. Wystarczy ustawić GPT-3 na dane z poszczególnych wypowiedzi i książek danej osobistości, a w teorii będziemy mogli rozmawiać z jej świadomością;
  • rozwiązywanie łamigłówek i zagadek słownych. Choć to może mieć mniej zastosowań, to i tak jest wielkim osiągnięciem;
  • generacja kodu na podstawie słownego opisu. Patrz: film powyżej;
  • odpowiadanie na pytania medyczne. Dodatkowo, podaje mechanizm biologiczny, który za tym stoi;
  • powieściopisarstwo. Możemy znaleźć przykłady tutaj;
  • układanie nut na gitarę. GPT-3 już wygenerował fikcyjną piosenkę na podstawie zmyślonego autora i nazwy.
Sztuczna muzyka to specjalność OpenAI / źródło: Twitter

GPT-3 jest… ciekawy. I na razie tyle. Sami deweloperzy mówią, że nie jest to jeszcze gotowy produkt i wciąż popełnia błędy, których człowiek nigdy by nie popełnił.

Co ciekawe, w systemie tym, a także w jego poprzedniku, wystarczy zamienić słowa na piksele, a stworzymy model, który potrafi automatycznie uzupełniać… obrazki.

GPT-3 od OpenAI właśnie zrewolucjonizował przeglądarkę 9
Auto-uzupełnianie zdjęć / fot. TheVerge

Tylko pomyśleć, co przyniesie GPT-4…