GauGAN: Maak kunst met kunstmatige intelligentie
Kunstmatige intelligentie (AI) rukt op als het gaat om het creëren van beeld. Met GauGAN kan iedereen zelf foto’s maken van landschappen die niet bestaan. De interface is even wennen en daarom deze korte uitleg!
Paul Gauguin (1848-1903) was een Franse post-impressionistische schilder die onder andere bekendheid verwierf vanwege zijn landschappen. Een GAN (Generative Adverserial Network) is een populaire methode in de wereld van AI om beelden te genereren. Dat verklaart de naam GauGAN, een systeem dat je in staat stelt om AI aan te sturen bij het maken van je eigen panorama’s van niet-bestaande werelden.
Vaak eist het gebruik van dit soort AI zeer stevige hardware, maar GauGAN is er in een onlineversie, waardoor je het in principe vanaf elk platform kunt gebruiken.
Lees ook: Muziek componeren met kunstmatige intelligentie
Eerste indruk
De voor iedereen toegankelijke versie is eigenlijk een opvolger van het eerste concept en heet officieel dan ook GauGAN2. Je vindt hem op www.gaugan.org/gaugan2. De toepassing werkt het prettigst in volledig scherm en helemaal uitgezoomd, zodat de gehele gebruikersinterface goed zichtbaar is. Voordat je kunt beginnen, moet je onder in beeld eerst een vinkje zetten om de gebruiksvoorwaarden te accepteren. Daarna kun je de op het eerste gezicht nogal overweldigende gebruikersinterface verkennen.
Gebruikersinterface
Wat meteen opvalt, zijn Input visualization en Input utilization bovenin. Bij de eerste optie vind je vakjes segmentation, sketch en image die je aan kunt vinken en bij de tweede optie komt daar nog text bij. Wat op de bovenste regel is aangevinkt, bepaalt wat er straks in het linkerdeelvenster te zien zal zijn. In dat gedeelte kun je straks je landschap bewerken.
Met de vier vinkjes achter Input utilization bepaal je op welke manier het beeld tot stand moet komen. GauGAN kan een landschap maken op basis van een zogeheten segmentatiekaart (segmentation), wat een ruwe schets is die de locatie van lucht, bergen, water en dergelijke aangeeft. Ook kan de AI werken op basis van een schets (sketch), een verfijning van details.
Met de derde mogelijkheid (image) kun je nieuwe landschappen genereren op basis van een bestaande foto of een eerder gegenereerd landschap. Met text, tot slot, kun je beeld maken aan de hand van slechts een omschrijving. Al deze mogelijkheden kun je bovendien combineren.
Met de andere elementen van de gebruikersinterface zullen we kennismaken wanneer we ze nodig hebben. Laten we eerst maar eens ons eerste landschap gaan maken.
Alleen tekst
We beginnen op basis van een tekst. Daarvoor halen we bij Input utilization alle vinkjes weg en plaatsen we er alleen een bij text. We kunnen nu een Engelse beschrijving geven van wat we willen zien. Als voorbeeld gebruiken we de tekst ‘a tropical lagoon with rocks’; leuk voor wie vakantiefoto’s wil kunnen tonen, maar eigenlijk niet op vakantie is geweest.
Vervolgens klikken we op het pictogram met de pijl naar rechts. Hiermee zetten we de AI aan het werk om alles wat we aan de linkerzijde hebben ingesteld te visualiseren. Na enkele seconden verschijnt het resultaat. Is het niet helemaal wat je hoopte? Geen nood. Klik dan op de dobbelstenen om een nieuwe variant te genereren en herhaal dit tot je tevreden bent.
Stijlen
Boven de gegenereerde afbeelding zie je een aantal miniatuurfoto’s. Deze vertegenwoordigen visuele stijlen. Klik op een van de andere stijlen om een andere sfeer te krijgen. Overigens zal dat lang niet altijd tot een mooi plaatje leiden, maar als het niet bevalt, kun je altijd terug naar de oorspronkelijke variant door op de middelste van de elf beschikbare stijlen te klikken.
Zit er niets van je gading tussen, weet dan dat je niet beperkt bent tot de standaardstijlen. Je kunt ook zelf een foto uploaden om als richtlijn te gebruiken. Daarvoor klik je onder de foto bij Upload Landscape Image op Bladeren. Daarna selecteer je de gewenste afbeelding en klik je op Upload. Het plaatje verschijnt nu als laatste foto bij de beschikbare stijlen en als je erop klikt, probeert de AI er iets mee te doen.
Succes is daarbij zeker niet gegarandeerd en het kan zelfs gebeuren dat je een heel andere afbeelding te zien krijgt wanneer je stijlfoto te ver afligt van het gekozen onderwerp. Wij kozen bijvoorbeeld een winters landschapje als stijl en weg was onze tropische lagune.
Beeldanalyse
Dat we zo veel landschappen kunnen maken als we willen door simpelweg een beschrijving op te geven, is natuurlijk prachtig, maar we willen meer. We willen het landschap naar eigen smaak aanpassen zonder dat we daarvoor eerst een paar jaar naar de Photoshop-universiteit moeten. Daarvoor moeten we ons voorlopige resultaat kopiëren naar de editor. Dat doen we door op de pijl naar links te klikken.
Zoals je ziet, verschijnt er een vage versie in het linkerdeelvenster; vaag omdat we drie dingen tegelijk zien: segmentation, sketch en image (de drie vinkjes bij Input vizualization). Er is echter nog geen segmentatie en ook geen schets. Met de twee pictogrammen naast de pijl naar links kunnen we die maken door de afbeelding te laten analyseren door de AI. We klikken eerst op de linker van de twee (Compute segmentation) en als de afbeelding is bijgewerkt, klikken we op Compute sketch.
Zoals je ziet, zijn links nu delen ingekleurd en zijn er lijntjes verschenen. Haal je achter Input visualization het vinkje weg bij image, dan zie je nog slechts de gegenereerde segmentatiekaart en de schets.
Segmentatie
Met wat we nu hebben, kunnen we de afbeelding gaan aanpassen. We beginnen daarvoor bij de segmentatiekaart. Deze geeft aan wat voor soort objecten de AI in de foto heeft herkend (lucht, water, rotsen, vegetatie enzovoort). We halen daarom bij Input visualization eerst het vinkje weg bij sketch.
In het menu links vind je allerlei elementen die in een landschap kunnen voorkomen. We willen graag iets meer water op de voorgrond. We klikken daarvoor links op Landscape en vervolgens op Sea. Met de kwast (derde pictogram) kunnen we nu het eilandje onderin weghalen door eroverheen te schilderen. Merk op dat je bovenin de kwastgrootte kunt aanpassen met de schuifregelaar Brush size. Nu we toch bezig zijn, kunnen we gelijk wel wat wolken toevoegen. Kies daarvoor links Clouds en teken wat vormpjes in de lucht op de segmentatiekaart.
Voordat we onze wijzigingen kunnen zien, moet je een vinkje plaatsen bij segmentation achter Input utilization, zodat de AI weet dat we ook die component willen gebruiken. Bovendien moeten we het vinkje bij image weghalen. Die bevat immers elementen die we juist wilden verwijderen. Een klik op de pijl naar rechts laat de aangepaste foto zien.
Detail
Voordat we ons op de details kunnen storten, moeten we ons nieuwe resultaat eerst weer naar de editor kopiëren (pijl naar links) en nogmaals Compute segmentation en Compute sketch uitvoeren, zodat we in de editor over de actuele gegevens beschikken.
Met het zesde en zevende pictogram (Sketch pencil en Sketch eraser) kunnen we nu de details aanpassen die de AI heeft herkend. We zien bijvoorbeeld wat lijntjes rond de wolken. Laten we die eens weghalen en zien wat er gebeurt. Uiteraard moet je weer bij Input utilization sketch aanvinken en image uitzetten, voordat je op de pijl naar rechts klikt. Het resultaat is dat de wolken nagenoeg zijn verdwenen, ondanks de aanwezigheid van de segmentatiekaart.
Door zelf nieuwe details in de lucht aan te brengen, krijgen we nieuwe wolkenpatronen. En tekenen we wat lijntjes in de zee, dan wordt de zeebodem ineens een stuk interessanter.
Later verder
Onder zowel de gegenereerde foto als onder het editor-venster vind je een diskettepictogram. Klik je op het pictogram onder de foto rechts, dan kun je het beeld opslaan als png-bestand. Klik je op het icoontje onder de editor, dan krijg je een zip-bestand met de gegenereerde afbeelding, de segmentatiekaart en de detailtekening.
Wil je later verder werken aan het project, dan kun je deze drie bestanden uploaden op dezelfde manier als waarop we eerder een stijlfoto hebben geüpload.
Vormgeving
Door te beginnen met een beschrijving heb je snel een resultaat om mee aan de slag te gaan, maar sommige mensen zijn meer visueel ingesteld. Voor hen is er de mogelijkheid om landschappen te maken op basis van een grove schets. Klik op New canvas (eerste pictogram) om met een leeg vel te beginnen. Nou ja, leeg … het bevat alleen lucht.
Met de tekengereedschappen die we hierboven zagen voor het bewerken van de segmentatiekaart en de details kun je allerlei elementen aan je compositie toevoegen. Nauwkeurig tekenen is daarbij niet nodig. Behalve natuur kun je zelfs allerlei menselijke bouwsels toevoegen, al bepaalt de AI hoe die er precies uit komen te zien. Ben je tevreden, dan zet je de gebruikte invoercomponenten weer aan en genereer je de foto.
Fotobewerking
Heb je zelf interessante foto’s gemaakt waarvan je het landschap wilt aanpassen, dan is dat in een fotobewerker vaak een bewerkelijke klus. Wat kan GauGAN daarin voor je betekenen? Om daarachter te komen, maken we ons canvas weer leeg en voegen we een foto toe via Upload Landscape Image. Wanneer we op basis hiervan een afbeelding genereren, dan is deze identiek aan de invoer. Nu laten we de AI erop los door de segmentatie en details te laten berekenen. Daarna kun je de foto op de gebruikelijke manier aanpassen.
Zouden we nu echter een nieuw beeld genereren zonder image als input, dan genereert GauGAN een geheel nieuwe foto op basis van uitsluitend segmentatie en details. We kunnen echter delen van ons origineel behouden. Met het achtste en negende pictogram (Real image eraser en Real magic wand eraser) kunnen we namelijk delen van onze foto uitgummen.
De eerste werkt als gewoon gummetje en de tweede als een toverstaf, die we kennen uit fotobewerkers. Hiermee kun je snel hele stukken beeld verwijderen op basis van kleur. Zo kun je bijvoorbeeld de bestaande lucht gemakkelijk verwijderen en op basis van wat je hebt getekend laten vervangen door een nieuwe lucht.
Op eigen pc
Beschik je over een grafische processor van Nvidia uit een van de RTX-series, dan kun je ook op je eigen pc landschappen in elkaar knutselen. Dat doe je met het gratis NVIDIA Canvas. Alhoewel het familie van GauGAN is, is Canvas niet exact hetzelfde. Zo kun je er wel eigen foto’s in gebruiken als stijl, maar kun je ze niet bewerken. Daarnaast is de verzameling bouwstenen in Canvas wat kleiner en kun je er bijvoorbeeld geen gebouwen mee maken. Tot slot ontbreekt ook de mogelijkheid om beeld te genereren op basis van tekst en heb je geen detailpenseel.
Tegenover deze nadelen staat ook een aantal voordelen. De gebruikersinterface is fraaier en de bediening is makkelijker, omdat je alleen met segmentatie werkt. Deze wordt bovendien in realtime verwerkt, zodat je zowel op de segmentatiekaart als in de foto kunt schilderen. Daarnaast kun je met lagen werken en inzoomen voor meer nauwkeurigheid.
