Różności i nowinki technologia

Facebook chce, aby jego okulary AR dawały użytkownikom poczucie sensu

Nowy eksperyment na Facebooku pokazuje, jak dźwięk może odgrywać ważną rolę w rzeczywistości rozszerzonej. Główny naukowiec Michael Abrash i jego zespół z FRL Research (dawniej Facebook Reality Labs) opublikowali dziś szczegółowe informacje na temat tego, co zespół nazywa „supermocarstwami percepcyjnymi” – systemami AR, które wykrywają to, co próbujesz usłyszeć, a następnie wzmacniają je i tłumią szum w tle. W połączeniu z funkcjami dźwięku przestrzennego urządzenie tworzy dźwiękowy odpowiednik nakładki hologramu w parze okularów.

Facebook od lat dąży do uzyskania wysokiej jakości wirtualnego dźwięku, głównie poprzez zestawy słuchawkowe Oculus do rzeczywistości wirtualnej. Najnowsze prace FRL Research koncentrują się na aplikacjach AR. Aby podać jeden przykład: „Wyobraź sobie, że jesteś w stanie prowadzić rozmowę w zatłoczonej restauracji lub barze bez konieczności podnoszenia głosu, aby być usłyszanym, lub wysiłku, aby zrozumieć, co mówią inni” – wyjaśnia firma.

Okulary AR mogą to zrobić, przechwytując dźwięk za pomocą mikrofonów, używając kontekstowych wskazówek do oceny, które dźwięki są ważne, i dostarczając je przez słuchawkę z redukcją szumów. I odwrotnie, jeśli prowadzisz rozmowę telefoniczną lub wideo, ulepszony dźwięk przestrzenny może przenosić głosy uczestników lub inne dźwięki do określonych części pomieszczenia, zwiększając poczucie, że naprawdę jesteś z kimś innym – lub „obecność audio” w Warunki FRL Research.

Eksperymenty audio Facebook Reality Labs

Jak przyznaje Facebook, dźwięk „supermocy percepcyjnych” laboratorium jest bardzo podobny do funkcji istniejących aparatów słuchowych, które również wzmacniają dźwięk i redukują hałas w tle. (Jeden system eksperymentalny wykorzystuje nawet implanty mózgowe, aby skupić się na określonych głosach).

Okulary AR oferują jednak wyjątkowe możliwości dla osób z i bez uszkodzenia słuchu. Czujniki kierunkowe i kamery skierowane na zewnątrz lub śledzące wzrok mogą zbierać szczegółowe informacje kontekstowe, w tym orientację ciała i punkt skupienia wzroku. Pomaga to słuchawkom wskazać „akustyczne światło punktowe” do wzmocnienia. I, oczywiście, system AR może miksować swój własny krajobraz dźwiękowy ze wzmocnionym dźwiękiem.

Facebook mógłby również uzupełniać system innymi inicjatywami AR. Na przykład LiveMaps ma na celu tworzenie bogatych map pełnych informacji o otoczeniu ludzi. Jeśli LiveMaps wykryje, że ktoś nosi okulary w restauracji, okulary mogą wykonać coś takiego, jak automatyczne oznaczenie i anulowanie dźwięków brzęczenia sztućców.

Facebook opublikował zdjęcie prototypowego monitora dousznego na atrapie głowy, a także zdjęcie członków zespołu noszących słuchawki, które wyglądają bardziej jak głośniki douszne Valve Index. Zestaw słuchawkowy Oculus Quest VR wykorzystuje skierowane głośniki, które są wygodnym, uniwersalnym rozwiązaniem do projekcji dźwięku do otoczenia, ale dźwięk przenika do osób postronnych – podczas gdy monitory douszne mogą lepiej zmieniać ogólny poziom dźwięku podczas noszenia AR okulary w miejscach publicznych. „Rodzaj zastosowany do rozwiązania problemu zależy ostatecznie od aplikacji” – mówi Ravish Mehra, kierownik ds. Audio w FRL Research.

Inne firmy eksperymentowały z ulepszaniem dźwięku – przede wszystkim Bose, które ujawniło okulary AR tylko audio w 2018 roku. Okulary Bose wykorzystywały czujniki przestrzenne do wykrywania, gdzie patrzą użytkownicy, i oferują funkcje takie jak wirtualne wycieczki po ulicach. Firma nie zdołała jednak zapewnić ich komercyjnej rentowności i w czerwcu tego roku zrezygnowała z projektu.

W przeciwieństwie do poprzednich lat Facebook nie organizuje konferencji, na których mógłby pochwalić się eksperymentalną technologią w 2020 roku, więc nie słyszeliśmy osobiście jej dźwięku. FRL Research zaoferował dziennikarzom demonstrację swojego systemu filtrowania podczas zdalnego połączenia. Wszelkie ulepszenia dźwięku przestrzennego mogą wkrótce zostać zastosowane w zestawach VR, w tym podobno aktualizacja Oculus Quest w okolicach konferencji Facebook Connect w tym miesiącu. „Praca, którą wykonujemy i praca, którą dzisiaj zaprezentowaliśmy, z pewnością ma zastosowania dla naszej linii urządzeń VR” – mówi Mehra.

Test audio laboratoriów rzeczywistości Facebook

Pełne zastosowanie tych możliwości może zająć lata. Niewiele wiemy o mapie drogowej Facebooka dla konsumenckich okularów AR, nawet jeśli powoli dowiadujemy się więcej o tym, co firma uważa, że ​​powinna zrobić. Kilka zdjęć przedstawia plastikowe oprawki, ale są one zaprojektowane do trzymania zestawu mikrofonów, a nie do pełnowartościowych okularów. Facebook powiedział wcześniej, że zbudował wiele wariantów prototypów, w tym niedawny projekt zestawu słuchawkowego AR / VR, który wygląda jak para okularów przeciwsłonecznych.

Aby sprzedać prawdziwy produkt komercyjny, Facebook będzie musiał rozwiać obawy wykraczające poza kwestie techniczne. Obejmuje to przekonanie ludzi, że „supermoce percepcyjne” nie stanowią zagrożenia dla prywatności.

Bez żadnych ograniczeń wystarczająco potężne mikrofony i technologia filtrująca mogą pozwolić ludziom niepostrzeżenie podsłuchiwać rozmowy w przestrzeni publicznej. Analiza dźwięku AI przedstawia jeszcze dziwniejsze i bardziej alarmujące możliwości, takie jak możliwość oznaczania konkretnych głosów lub słów kluczowych konwersacji w zatłoczonym pokoju. (Teoretycznie mógłby również wykonywać bardziej nieszkodliwe, pomocne zadania, takie jak tłumaczenie w czasie rzeczywistym). Oczywiście okulary nagrywałyby również Twoje własne rozmowy.

Nic nie wskazuje na to, że FRL Research rozważa celowy nadzór. Jednak wiele osób obawia się już – prawdopodobnie błędnie – że aplikacje Facebooka rejestrują je w celu kierowania reklam. Zatem sama możliwość może niepokoić konsumentów. FRL Research twierdzi, że przechwycony dźwięk jest obecnie szyfrowany i przechowywany na serwerach, do których ma dostęp niewielka liczba badaczy.

Abrash mówi, że Facebook stara się zapewnić prywatność we wszystkich aspektach projektu swoich okularów, powtarzając refren o swoich ogólnych planach AR / VR. System mógł między innymi prosić o pozwolenie z czyichś okularów przed wzmocnieniem rozmowy lub mieć ograniczony zasięg. „Zamiast myśleć o tym jak o magicznej latarce, możemy wskazać na kogokolwiek i usłyszeć, co mówi, pomyśleć o tym bardziej, jako że ludzie mogą uczestniczyć w rozmowie, w której i tak są” – powiedział dziennikarzom.

Abrash mówi, że na razie małe zestawy mikrofonów nie są wystarczająco mocne, aby prowadzić szpiegostwo na duże odległości. „Jeśli kiedykolwiek zobaczysz kogoś idącego w okularach o szerokości dwóch stóp”, ostrzegł żartobliwie, „powinieneś być podejrzliwy”.

1 komentarz

Zostaw komentarz

Maciek Luboński
Z wykształcenia jestem kucharzem , ale to nie przeszkadza mi pisać dla Was tekstów z wielu ciekawych dziedzin , których sam jestem fanem.Piszę dużo i często nie na tak jak trzeba , ale co z tego skoro tak naprawdę liczy się pasja.

Najlepsze recenzje

Video

gallery

Facebook