Nvidia

Jak Nvidia zamienia rysunki w realistyczne krajobrazy

Niedawno pisaliśmy, jak Nvidia odtworzyła grę Pac-Man z pomocą Sztucznej Inteligencji. Okazuje się jednak, że to nie jest jedyny projekt firmy, który bazuje na AI. Wśród nich znajdziemy GauGANa (tak, to prawdziwa nazwa), czyli program, który w naszej przeglądarce zamieni rysunki rodem z Painta na prawie fotorealistyczne obrazy. Jak więc działa… GauGAN?

Coś – z niczego

GauGAN w 6 sekund (wideo: Nvidia)

W skrócie, GauGAN to model Sztucznej Inteligencji (nazwa pochodzi od Generative Adversarial Networks – algorytmów, które są używane w nienadzorowanych modelach uczenia maszynowego), który zamienia nasze rysunki w zdjęcia. Jednakże nie są to najzwyklejsze rysunki. Aby program działał, należy powiedzieć mu, czym jest kształt, który rysujemy… Czyli, zamiast kolorów – wybieramy elementy krajobrazu.

I to wszystko, co musimy wiedzieć. GauGANa będzie w stanie używać nawet 5-latek. Zobaczmy więc, jakie może produkować rezultaty.

Test programu GauGAN

Na początek narysowałem mały krajobraz, który dość rzadko występuje w rzeczywistości – góra na wyspie, otoczona morzem. Nvidia może jednak pokazać nam, jak będzie to wyglądać.

Jak Nvidia zamienia rysunki w realistyczne krajobrazy
Rysunek 1 – krajobraz morski

Woda i chmury to rzeczy, które GauGAN potrafi odtworzyć prawie perfekcyjnie. Sztuczna Inteligencja zawsze dobrze radzi sobie z proceduralnymi elementami. Zauważyłem też, że program tworzy perspektywę na każdym obrazku. I chociaż nie jest ona dokładnie jak w rzeczywistości, jeśli stworzymy dobrą kompozycję, upiększa ona nasze dzieło.

Jak Nvidia zamienia rysunki w realistyczne krajobrazy
Rysunek 2 – krajobraz wyżynny

Jeśli nie lubimy stylu naszego zdjęcia, możemy użyć jednego z filtrów na dole ekranu; wylosować go, a nawet przesłać swój własny. Zmienia on nie tylko oświetlenie, lecz na nowo przetwarza elementy naszego krajobrazu, przez co mogą wyglądać trochę lepiej (lub gorzej).

Jak Nvidia zamienia rysunki w realistyczne krajobrazy
Rysunek 3 – dom na wyżynie

Problemy zaczynają się, gdy próbujemy narysować budynki i drogi. Drzewa również są wyzwaniem dla programu. Jeśli chcemy uzyskać dobre rezultaty, trzeba rysować blokami, czyli nie próbować rysować pojedynczych drzew i kamieni, lecz wypełnić większy region obrazka, w którym chcemy dany element.

Nvidia przyszłością AI

Jak mówią twórcy programu, może on pomóc architektom, projektantom i artystom w szybkim tworzeniu konceptów. W przyszłości technologia ta może znaleźć zastosowanie w specjalistycznych oprogramowaniach w różnych dziedzinach gospodarki.

Programiści użyli biblioteki PyTorch w celu stworzenia tego modelu AI. Działa on w ten sam sposób, jak program, który odtworzył Pac-Mana. Mianowicie, składa się z dwóch procesów. Pierwszy próbuje stworzyć realistyczny obrazek, a drugi, przetrenowany na tysiącach zdjęć krajobrazów, 'podpowiada’, które piksele nie wyglądają realistycznie.

Dzięki temu może nawet tworzyć odbicia krajobrazu w wodzie, co możemy zobaczyć na powyższych obrazkach i w poniższym filmie.

Pokaz GauGANa (wideo: Nvidia)

Jak powiedział Bryan Catanzaro, szef działu badań nad uczeniem maszynowym:

Technologia ta nie wkleja części innych zdjęć w odpowiednie miejsca, lecz syntezuje nowe obrazki, podobnie jak artysta, który miałby to narysować.

“This technology is not just stitching together pieces of other images, or cutting and pasting textures. It’s actually synthesizing new images, very similar to how an artist would draw something.”

Program jest wciąż w fazie Beta, podobnie jak inne technologie, z których Nvidia stworzyła AI Playground, czyli Plac Zabaw ze Sztuczną Inteligencją. Jeśli chcesz jednak przetestować GauGANa samemu, znajdziesz go tutaj.