Sztuczna inteligencja w akcji

DALL-E „opisowo”

Pierwsza, najprostsza wersja wykorzystania aplikacji DALL-E – opis. Aby wygenerować obraz w aplikacji DALL-E należy opisać w języku naturalnym co ma się na nim znaleźć. Im bardziej precyzyjny i jednoznaczny opis tym efekt bardziej realistyczny.

  Tak na stronie OpenAI jest opisany ten wariant: DALL·E 2 can create original, realistic images and art from a text description. It can combine concepts, attributes, and styles.

Samochód...

Opisy w rodzaju: „Widok na molo w Sopocie z plażą i parawanami”, „Astronauta na Księżycu na białym koniu”, wydały mi się zbyt banalne.   Chciałem zadać AI polecenie, które byłoby zrozumiałe dla zwykłego człowieka, ale dla Sztucznej Inteligencji, już niekoniecznie. Pierwsza myśl – „samochód warszawa okiem pszczoły”.   Większość Polaków ma już przed oczyma ten WIDOK. A co zobaczyła AI? Wygenerowane obrazki to raczej wynik interpretacji poszczególnych słów, a nie kontekst zdania. Jednak AI próbowała poradzić sobie z tym zadaniem i widać pewną myśl. Najciekawszy jest obrazek nr 4.

  To samo zadanie, ale po angielsku – fraza „Warszawa car through the eye of a bee” – niewiele zmieniło. Dwie próby z tą frazą pokazują, że AI zafiksowała się na „rybim oku”, a nie na pszczelim.

We frazach po angielsku użycie nazwy Warszawa z dużej litery wiele zmieniło. Na większości wygenerowanych obrazów znajduje się zgeneralizowany Pałac Kultury i Nauki w Warszawie. W sumie dosyć stereotypowe widzenie Warszawy! Dlaczego samochód jest żółty czy to nawiązanie do koloru pszczoły? Model samochodu też kojarzy się z marką Moskwicz lub jakimś Citroënem.

Meteoryty...

Oczywiście kolejne polecenie skierowane do DALL-E dotyczyło meteorytów. Fraza „meteoryty” dała w efekcie cztery zaskakujące obrazy. Wygląda na to, że AI zinterpretowała to jako „widoczek na kompleksy monastyrów Meteory w środkowej Grecji”. Szok.   Przeglądając zdjęcia monastyrów Meteory w internecie, widać, że AI nie popisała się kreatywnością, ale zrobiła udane kompilacje (kolaże) dostępnych zdjęć. Słabo.

  Drugie polecenie miało już być bardziej precyzyjne i naprowadzić AI na właściwy trop. Fraza „meteoryt łowicz”. Dla większości ludzi (Polaków) jest zrozumiałe, co się kryje pod tym zdaniem, ale AI dalej uparcie generuje skałki i zabudowania sakralne, Nie udało mi się też dostrzec w wygenerowanych obrazach wizualnej interpretacji słowa „łowicz”. Słabe.

Ok, może należy wydawać polecenia po angielsku, DALL-E to produkt amerykański?   Kolejna fraza „big iron meteorite” dała już lepsze efekty. Wygenerowane obrazy wielkich brył w zasadzie mogą być meteorytami. Może niekoniecznie żelazne, ale meteoryty. Widać również, że prawdopodobnie AI nie robi kolaży z istniejących zdjęć, ale widać silną inspirację zdjęciami, np. meteorytów Hoba, okazów Campo del Cielo lub Cape York. Oczywiście im bardziej szczegółowe polecenie, tym większa szansa, że AI poradzi sobie lepiej? Ale liczba darmowych kredytków mocno ograniczała eksperymentowanie.

  Kolejna fraza dodawała nową cechę do opisu meteorytów żelaznych – fraza „big iron meteorite Widmanstätten pattern”. Oczekiwałem, że zobaczę znaną meteoryciarzom strukturę charakterystyczną dla meteorytów żelaznych. Niestety, program wygenerował jakieś struktury na powierzchni brył, które bardziej przypominają regmaglipty, choć też można mieć zastrzeżenia czy to regmaglipty.

  By zakończyć temat meteorytów, a jak widać z czatów z AI ChatGPT, wie ona niewiele o nich, ostatnia fraza „big iron-stone meteorite”. Efekt? Wyglądają jak meteoryty, ale czy żelazne czy kamienno-żelazne nie robi AI różnicy.

  Faktem jednak jest, że wygenerowane obrazy są ciekawe. Kolor, faktura, światło robią „prawdziwy” obraz.

  Jeszcze jeden kredytek na przetestowanie AI, ale nie na generowanie obrazu na bazie opisu słownego (frazy), ale na wersję generowania wariantów według zadanego obrazu. Dałem polecenie, by na bazie zdjęcia nr 3 ze zbioru „big iron-stone meteorite” wygenerował jego wariacje. AI poradziła sobie doskonale.

Jan Woreczko/Woreczko Jan

Czy AI algorytmu DALL-E posiłkuje się Internetem? Wyszukiwarka Google, oparta też na AI, dobrze radzi sobie z wyszukiwaniem informacji. Googlając „Jan Woreczko” wyświetlą się w większości strony prowadzące do naszych portali poświęconych meteorytom. A co wygeneruje AI na frazę „Jan Woreczko”? Efekt niespodziewany. Jakiś staroświecki gość (pastor!   pozujący na ważniaka ) Może po pierwszym pytaniu, AI szybko sięgnie do zasobów sieci i się czegoś nauczy? Przecież ona, jak mawiał klasyk – cały czas się uczę.

  Po kilku dniach ponownie zadałem pytanie-frazę „Jan Woreczko”. To samo – jacyś goście w perukach lub pod krawatem. Może pierwsze słowo „Jan” prowadzi ją na manowce? Sprawdziłem, fraza „Woreczko Jan”, spowodowała już totalny odlot AI.

Aleksander Rodczenko

Ok, Jan Woreczko nie jest popularną postacią.   Może AI lepiej poradzi sobie z osobą znaną, ale nie oczywistą. Wybór padł na naszego ulubionego artystę Aleksandra Rodczenko. Ten rosyjski konstruktywista jest ikoną stylu i jego twórcą. Pierwsza fraza „alexander rodczenko”. Efekt? Nazwisko brzmi rosyjsko i w tym kierunku poszła kreacja AI. Wygenerowane postaci mają rosyjskie rysy (sic!), w większości to sportowcy oraz reprezentanci dyscyplin popularnych w Rosji – boks, hokej...

  Uszczegółowiłem frazę – „alexander rodczenko painter”. Efekt pracy AI jest już poprawny. Artysta przy sztalugach, atrybucie malarza. Oraz przykładowa praca, jednak daleka w stylu od konstruktywizmu. Ale, drżyjcie artyści... AI nadchodzi.

Galaktyki

Może na polu astronomii AI będzie bardziej kreatywna? Okazuje się, że tak. Fraza „galaxy” generuje grafiki obiektów galaktykopodobnych. Uszczegółowienie frazy „galaxy M31” daje już w rezultacie obiekty przypominające galaktyki. A jedna z nich to prawie rzeczywista galaktyka M31 w gwiazdozbiorze Andromedy. Pozostałe obrazy to wizja naszej Drogi Mlecznej widzianej z boku.

DALL-E „warianty”

Druga bardziej zaawansowana wersja wykorzystania aplikacji DALL-E – warianty/wariacje.  Można też wygenerować obraz w aplikacji DALL-E używając istniejącej już fotografii.  Należy zaimportować istniejący obraz/grafikę i ją opisać, a na jej bazie powstaną 4 warianty obrazów/grafik „inspirowanych” obrazem wejściowym.

  Tak na stronie OpenAI jest opisany ten wariant: DALL·E 2 can take an image and create different variations of it inspired by the original.

Ludzie na pustyni z meteorytem

Na pierwszy ogień poszło moje zdjęcia z pustyni w Omanie. Dobry kadr (scena) i dobrze zdefiniowana zawartość zdjęcia – kucający nad meteorytem na pustyni uśmiechnięty człowiek w krótkich spodenkach i czapce bejsbolówce; fraza „meteorite hunters in desert with meteorites”. Wyszły jakieś zombi,   ale scena odwzorowana super.

Bardziej złożona scena – trzy osoby na pustyni z meteorytami. Na pustyni (w silnym słońcu) dwie kobiety, jeden mężczyzna, czapki bejsbolówki, okulary i równo (geometrycznie) ułożone meteoryty; fraza „meteorite hunters in desert with meteorites”. Zombi, ale wyszło fajne!

Bardziej złożona scena – cztery osoby na pustyni z meteorytami. Na pustyni (w silnym słońcu) dwie kobiety, dwóch mężczyzn („dodany” do poprzedniego zdjęcia Tomek i niebo), czapki bejsbolówki, okulary i równo (geometrycznie) ułożone meteoryty; fraza „meteorite hunters in desert with meteorites”. Większe zombi , lekko makabryczne niedoskonałości postaci, ale też wyszło akceptowalnie!

Realistyczna, dynamiczna rzeźba

A jak poradzi sobie AI z realistyczną, dynamiczną rzeźbą? Antyczna dzieło „Grupa Laokoona”. Efekt? Jakiś amator pracujący w glinie.

Restrykcyjna polityka poprawności programu OpenAI nie akceptowała oryginalnego zdjęcia, ze względu na występujący na nim motyw organów płciowych.   Musiałem fjutka wyretuszować.

DALL-E „twórca”

Trzecia najbardziej zaawansowana wersja wykorzystania aplikacji DALL-E – twórca.  Można też wygenerować obraz w aplikacji DALL-E używając istniejącej już fotografii, ale można dodawać do niej nowe elementy lub zwiększyć wielkość kadru.  Należy zaimportować istniejący obraz/grafikę, „zamaskować” fragment obrazu lub zaznaczyć dodatkowe pole powiększające kadr i je opisać, a na tej bazie powstaną 4 warianty obrazów/grafik „inspirowanych” obrazem wejściowym.

  Doskonałym przykładem wygenerowanego rozszerzonego, uzupełnionego kadru jest przykład na stronie OpenAI z obrazem Vermeera „Dziewczyna z perłą” (Meisje met de parel) (film).

Woreczko na pustyni z meteorytem

Poprzednie zdjęcie, ale powiększyłem w poziomie kadr o 300% i dodałem frazę „meteorite hunters in desert with meteorites”. Rezultat rozczarowuje.    Polecenie by na podstawie istniejącego kadru i opisu wygenerować „rozszerzenie kadru” o 100% po każdej stronie, jest złe.

Okazuje się, że należy „rozszerzać kadru” nie o 300%, ale mniej, tak by na „rozszerzonym kadrze” w nowym polu znajdowała się jeszcze część już istniejącego kadru. Efekt poniżej dla poszerzenia o ~50%.

Grupa młodych poszukiwaczy na pustyni z meteorytami

Inne wcześniejsze zdjęcie, ale powiększyłem w poziomie symetrycznie kadr o ~100% i dodałem frazę „many young people in desert with meteorites”. Rezultat interesujący.   

Kończą się darmowe kredytki, pora zaszaleć (dokładamy Tomka)

Inne wcześniejsze zdjęcie, ale powiększyłem w poziomie symetrycznie kadr o ~100% (left i right frame #1) i dodałem frazę „many young people with meteorites in desert”. Rezultat interesujący.

Rozszerzenia kadru left i right frame #1

Efekt (wariant wyjściowy do dalszej zabawy).

Rozszerzenia kadru left i right frame #2 (na bazie wybranego powyżej wariantu)

Podsumowanie

Oprogramowanie OpenAI dostarcza masę frajdy i pochłania dużo czasu.   Ale patrząc na efekty można mieć obawy czy AI nie zastąpi wielu ludzi w ich pracy, a z drugiej strony na pewno jest narzędziem zmieniającym świat.

I straszno i śmieszno.

Zobacz również

Galeria – ~50 twarzy PeKiNu

Muzeum Narodowe w Krakowie – WYSTAWA: ALEKSANDER RODCZENKO, REWOLUCJA W FOTOGRAFII

Linki zewnętrzne

OpenAI – OpenAI

Wikipedia – Sztuczna inteligencja

Wikipedia (EN) – OpenAI