NowościOprogramowanie

Filtry neuronowe AI programu Photoshop mogą modyfikować wiek i ekspresję za pomocą kilku kliknięć

Sztuczna inteligencja zmienia świat edycji i manipulacji obrazami, a Adobe nie chce zostać w tyle. Dzisiaj firma wydaje aktualizację do programu Photoshop w wersji 22.0, która zawiera wiele funkcji opartych na sztucznej inteligencji, niektóre nowe, niektóre już udostępnione publicznie. Należą do nich narzędzie do wymiany nieba, ulepszony wybór krawędzi AI i – gwiazda programu – zestaw narzędzi do edycji obrazu, które Adobe nazywa „filtrami neuronowymi”.

Filtry te obejmują szereg prostych nakładek i efektów, ale także narzędzia, które pozwalają na głębszą edycję, szczególnie w przypadku portretów. Dzięki filtrom neuronowym program Photoshop może dostosować wiek i wyraz twarzy obiektu, wzmacniając lub zmniejszając uczucia takie jak „radość”, „zdziwienie” lub „złość” za pomocą prostych suwaków. Możesz zdjąć czyjeś okulary lub wygładzić ich plamy. Jeden z dziwniejszych filtrów pozwala nawet przenosić makijaż z jednej osoby na drugą. A wszystko to za pomocą kilku kliknięć, a wynik można łatwo dostosować lub całkowicie odwrócić.

„Myślę, że w tym miejscu możemy teraz powiedzieć, że Photoshop jest najbardziej zaawansowaną aplikacją AI na świecie” – powiedziała Maria Yap, wiceprezes Adobe ds. Cyfrowego przetwarzania obrazu. The Verge. „Tworzymy obrazy, których wcześniej nie było”.

Aby osiągnąć te efekty, Adobe wykorzystuje moc generatywnych sieci przeciwnika – lub GAN – rodzaj techniki uczenia maszynowego, która okazała się szczególnie skuteczna w generowaniu obrazów wizualnych. Część przetwarzania odbywa się lokalnie, a część w chmurze, w zależności od wymagań obliczeniowych każdego narzędzia, ale zastosowanie każdego filtra zajmuje tylko kilka sekund. (Demo, które widzieliśmy, zostało wykonane na starym Mac Book Pro i było wystarczająco szybkie).

Wiele z tych filtrów jest znanych tym, którzy śledzą edycję obrazów AI. Są to narzędzia, które od lat pojawiają się w papierach i prezentacjach. Ale zawsze ma znaczenie, gdy techniki takie jak te przechodzą od krwawych eksperymentów, udostępnianych na Twitterze wśród znawców, do głównych funkcji w gigantach konsumenckich, takich jak Photoshop.

Jak zawsze w przypadku tego rodzaju funkcji, dowód będzie polegał na edycji, a rzeczywista użyteczność filtrów neuronowych będzie zależeć od tego, jak wielu użytkowników Photoshopa zareaguje na nie. Ale w wirtualnym demo The Verge saw, nowe narzędzia zapewniały szybkie i dobre wyniki (chociaż nie widzieliśmy narzędzia do regulacji wyrazu twarzy). Te modyfikacje oparte na sztucznej inteligencji nie były bezbłędne, a większość profesjonalnych retuszerów chciała później wkroczyć i wprowadzić własne poprawki, ale wydawało się, że przyspieszyłyby wiele zadań edycyjnych.

Filtry neuronowe mogą służyć do kolorowania starych zdjęć – popularna aplikacja uczenia maszynowego.
: Adobe

Próba pokonania stronniczości AI

Takie narzędzia AI działają, ucząc się na przykładach z przeszłości. Tak więc, aby utworzyć filtr neuronowy, który służy na przykład do wygładzania wyprysków skóry, firma Adobe zebrała tysiące zdjęć przed i po edycji dokonanych przez profesjonalnych fotografów, wprowadzając te dane do swoich algorytmów. GAN działają jak sparowany uczeń i nauczyciel, przy czym jedna część próbuje skopiować te przykłady, a druga próbuje odróżnić te dane wyjściowe od danych szkoleniowych. W końcu, gdy nawet GAN jest zdezorientowany, próbując określić różnicę między nimi, proces szkolenia jest zakończony.

„Zasadniczo szkolimy GAN, aby dokonywał tych samych poprawek, co profesjonalny retuszer” – powiedział Alexandru Costin, wiceprezes ds. Inżynierii Adobe w Creative Cloud. The Verge.

Brzmi prosto, ale jest wiele powodów, dla których ten trening może się nie udać. Duże to stronnicze dane. Algorytmy znają tylko świat, który im pokazujesz, więc jeśli pokażesz im tylko zdjęcia, powiedzmy, białych twarzy, nie będą w stanie wprowadzić zmian dla nikogo, kogo karnacja nie mieści się w tym wąskim zakresie. Ten rodzaj uprzedzeń powoduje, że systemy rozpoznawania twarzy często działają gorzej w przypadku kobiet i osób kolorowych. Tych twarzy po prostu nie ma w danych treningowych.

Costin mówi, że Adobe doskonale zdaje sobie sprawę z tego problemu. Mówi, że gdyby wyszkolił swoje algorytmy na zbyt wielu białych twarzach, jego filtry neuronowe mogą w rezultacie popchnąć portrety edytowane przez AI w kierunku bielszej karnacji (problem, który widzieliśmy w przeszłości w przypadku innych aplikacji ML).

„Jednym z największych wyzwań jest zachowanie kolorytu skóry” – mówi Costin. „To bardzo wrażliwy obszar”. Aby pomóc wykorzenić tę stronniczość, Adobe utworzył zespoły recenzentów i komisję etyczną sztucznej inteligencji, która testuje algorytmy za każdym razem, gdy dokonywana jest większa aktualizacja. „Dokonujemy bardzo dokładnego przeglądu każdej funkcji ML, aby przyjrzeć się tym kryteriom i spróbować podnieść poprzeczkę”.

Użytkownicy będą mogli wysyłać „nieodpowiednie” wyniki do firmy Adobe w celu ulepszenia filtrów.

Jednak jedną z głównych zalet Adobe nad innymi zespołami tworzącymi narzędzia do edycji obrazów AI jest katalog fotografii stockowej – ogromna liczba obrazów pochodzących z różnych grup wiekowych, ras i płci. To, mówi Costin, ułatwiło badaczom Adobe zrównoważenie ich zbiorów danych w celu zminimalizowania błędów. „Uzupełniliśmy nasze dane szkoleniowe o zdjęcia stockowe firmy Adobe”, mówi Costin, „co pozwoliło nam uzyskać możliwie najlepszy, rozproszony zestaw szkoleniowy”.

Oczywiście to wszystko nie gwarantuje, że tendencyjne wyniki gdzieś się nie pojawią, zwłaszcza gdy filtry neuronowe wyjdą z testów beta i trafią w ręce ogółu społeczeństwa. Z tego powodu za każdym razem, gdy zostanie zastosowany filtr, Photoshop zapyta użytkowników, czy są zadowoleni z rezultatów, a jeśli nie, daje im opcję zgłaszania „nieodpowiednich” treści. Jeśli użytkownicy zechcą, mogą również anonimowo wysyłać swoje obrazy przed i po do Adobe w celu dalszej analizy. W ten sposób firma ma nadzieję nie tylko usunąć błąd, ale także jeszcze bardziej rozszerzyć swoje dane szkoleniowe, wypychając filtry neuronowe na wyższy poziom wierności.

Wybór nowego źródła światła to kolejne zastosowanie filtrów neuronowych.
: Adobe

Szybkie uczenie maszynowe

Ten rodzaj szybkiej aktualizacji opartej na wykorzystaniu w świecie rzeczywistym jest powszechny w szybko zmieniającym się świecie badań nad sztuczną inteligencją. Często po opublikowaniu nowej techniki uczenia maszynowego (zwykle w witrynie o nazwie arXiv, będącej ogólnodostępnym zbiorem prac naukowych, które nie zostały jeszcze opublikowane w czasopiśmie), inni badacze ją przeczytają, zaadoptują i dostosują w ciągu dni, dzieląc się wynikami i wskazówkami w mediach społecznościowych.

Niektórzy konkurenci Photoshopa skupiający się na sztucznej inteligencji wyróżniają się tym, że przyjmują ten rodzaj kultury. Na przykład program taki jak Runway ML nie tylko pozwala użytkownikom trenować filtry uczenia maszynowego przy użyciu ich własnych danych (czego nie robi Photoshop), ale obsługuje generowany przez użytkowników „rynek”, który ułatwia ludziom udostępnianie i eksperymentowanie z najnowszymi narzędziami. Jeśli projektant lub ilustrator zobaczy coś fajnego na Twitterze, wolą od razu zacząć się tym bawić, zamiast czekać, aż trafi do Photoshopa.

Jako produkt szeroko stosowany wśród klientów ceniących stabilność, Adobe nie może naprawdę konkurować z tego rodzaju szybkością, ale dzięki filtrom neuronowym firma zanurza się w tych szybko płynących wodach. Podczas gdy dwa filtry są przedstawiane jako gotowe funkcje, sześć jest oznaczonych jako narzędzia „beta”, a osiem kolejnych jest wymienionych tylko jako nazwy, a użytkownicy muszą prosić o dostęp. Poniżej możesz zobaczyć pełną listę różnych filtrów i ich poziomów:

Polecane filtry neuronowe: Wygładzanie skóry, przenoszenie stylu
Filtry beta neuronowe: Portret inteligentny, makijaż, zamglenie ze świadomością głębi, koloryzacja, super zoom, usuwanie artefaktów JPEG
Przyszłe filtry neuronowe: Przywracanie zdjęć, kurz i zadrapania, redukcja szumów, oczyszczanie twarzy, zdjęcie do szkicu, szkic do portretu, grafika ołówkiem, twarz do karykatury

Yap twierdzi, że takie podejście jest nowością w Photoshopie, ale miejmy nadzieję, że pozwoli Adobe złagodzić oczekiwania użytkowników dotyczące narzędzi AI, dając im licencję na szybszą aktualizację narzędzi. „Stworzyliśmy ramy, które pozwalają nam wprowadzać modele [to users] szybciej, od badań do Photoshopa ”- mówi Yap. „Tradycyjnie, gdy wykonujemy funkcje, takie jak wymiana nieba, są one naprawdę głęboko zintegrowane z produktem, więc ich dojrzewanie zajmuje więcej czasu”. W przypadku filtrów neuronowych ten cykl aktualizacji będzie w idealnym przypadku znacznie szybszy.

„Właśnie to tempo staramy się wprowadzić do Photoshopa” – mówi Costin. „I to kosztem tego, że funkcja nie będzie doskonała w momencie uruchomienia, ale liczymy na to, że nasza społeczność użytkowników powie nam, jak dobra jest […] a następnie weźmiemy te dane, dopracujemy je i poprawimy ”.

Innymi słowy: koło zamachowe postępu AI, w którym więcej użytkowników tworzy więcej danych, które tworzą lepsze narzędzia, pojawia się w Photoshopie. Poprawianie czyjegoś wieku to dopiero początek.

Zostaw komentarz

Maciek Luboński
Z wykształcenia jestem kucharzem , ale to nie przeszkadza mi pisać dla Was tekstów z wielu ciekawych dziedzin , których sam jestem fanem.Piszę dużo i często nie na tak jak trzeba , ale co z tego skoro tak naprawdę liczy się pasja.

Najlepsze recenzje

Video

gallery

Facebook