Hatsune Miku i mediated reality (2)

Kiedy byłem dzieckiem, szczególnie przypominam sobie pewien moment, kiedy spoglądałem w kalejdoskop. Dość proste w swej konstrukcji urządzenie dla mnie było wtedy – w iście magiczny sposób – oknem do nowego wszechświata, pełnego barw, kształtów, odbijających się w nieskończoność. Było to miejsce, w którym można było przez chwilę podumać nad pięknem i regularnością tych kształtów.

Próbując ująć istotę kalejdoskopu w bardziej abstrakcyjnych słowach, możnaby powiedzieć, że jest to takie ustrojstwo, które wykorzystując prostą zasadę do granic możliwości, znacząco ubogaca naszą możliwość widzenia tego, co faktycznie się w środku znajduje. I taką samą wizję ubogacenia naszej rzeczywistości mieli w umysłach pionierzy technologii mediated reality – w wolnym tłumaczeniu rzeczywistości modyfikowanej.

Rozmaite idee i rozmaite wyobrażenia, do których będziemy docierać w następnych artykułach, pojawiały się przez ostatnich 200 lat. Dziś skupimy się na próbie zrozumienia poniższego diagramu.

Zapewne większość osób, które stykają się z technologią, spotkało się z terminem augmented reality, czy też rzeczywistości rozszerzonej. Z kolei termin virtual reality, czy wirtualnej rzeczywistości od dawna przenika do popularnego rozumienia. Pierwsze z nich się kojarzy z telefonem komórkowym, który dodaje jakieś informacje do widoku z aparatu, który kierujemy na jakiś przedmiot lub rozpoznawalny dla maszyny znak graficzny. Drugie z nich kojarzy się z hełmami zakładanymi na głowę i grami komputerowymi. Jak więc przyporządkować okulary, które stawiają świat na głowie?

Okulary na opak

Artykuł, który definiuje niejako powyższy diagram ¹, otwiera się tym właśnie przykładem. W 1896 roku George M. Stratton zaczął badać adaptację systemu nerwowego do nowych warunków. Eksperyment polegał na noszeniu okularów, które odwracały widzenie w osi góra-dół. Tak też góra była dołem, a dół był górą. Później pojawiły się też eksperymenty z zamianą obu osi: góra-dół oraz lewo-prawo.

Gdyby się zastanowić, to faktycznie, istnieje pewien związek pomiędzy okularami, które zmieniają postrzeganie rzeczywistości, rzeczywistością rozszerzoną i wirtualną. Ale jednocześnie okulary nie rozszerzają rzeczywistości. Można byłoby powiedzieć, że zmieniają ją w dużo większym stopniu – tak, że musimy się do tej zmienionej rzeczywistości zaadaptować na nowo.

Możemy znaleźć więcej przykładów, które nie pasują do naszego wąskiego pojmowania rzeczywistości rozszerzonej i wirtualnej. Jednym z przykładów, które są dla nas już wręcz niezauważalne, są napisy przy nagraniu video. Nawet, jeśli nagranie to nie jest filmem fabularnym, a zapisem z konferencji, czyli de facto dość wiernym odwzorowaniem rzeczywistości, to napisy na nim są – no właśnie, czym? – rzeczywistością rozszerzoną? Mniejszą jej odmianą?

Wreszcie: co, kiedy tysiące osób dociera na koncert wokalistki, która w ogóle nie jest osobą z krwi i kości?

Osie reality-virtuality i unmediated-mediated

Stąd idea dwuwymiarowej przestrzeni. W jednej osi umieszczamy to, jakie proporcje elementów wirtualnych i rzeczywistych ze sobą mieszamy. Zazwyczaj wyobrażamy sobie, że przejście pomiędzy światem rzeczywistym a wirtualnym jest dyskretne – ot, jesteśmy w fizycznym budynku, a następnie jesteśmy na wirtualnej polanie, lub odwrotnie. Ale i to możemy robić stopniowo.

Druga oś opisuje, jak bardzo dokonane zmiany dokonują ingerencji w naszym postrzeganiu rzeczywistości/wirtualności, a także, jak wiele adaptacji my potrzebujemy, żeby dopasować się do tej ingerencji.

Przykłady

W poniższych przykładach będę starał się umieścić je jako pewien punkt w opisanej powyżej przestrzeni. Opis wygląda tak:

[r-v: left, m: top]

gdzie r-v oznacza oś rzeczywistość – wirtualność, a m stopień ingerencji. Wartości na obu przestrzeniach są ze zbioru { left, middle, right, bottom, top }. Przypisania są subiektywne, służą raczej złapaniu koncepcyjnego modelu przestrzeni, niż próbie przypisania konkretnych punktów na tej przestrzeni przykładom.

Dźwięki tła na słuchawkach [r-v: left, m: bottom]. Wyobraźmy sobie coś prostego. Podczas spaceru chcemy mieć nieco bardziej melancholijny nastrój. Na słuchawkach uruchamiamy więc ambientowe odgłosy deszczu. Odczucie jest nietypowe, bo deszczu nigdzie nie widać, a jednak go słyszymy.

Restauracje zdalne [r-v: middle, m: bottom]. Teraz wyobraźmy sobie coś bardziej skomplikowanego. Przypuśćmy, że na całym świecie ktoś zbudował wiele restauracji/barów. Wszystkie mają taki sam plan architektoniczny, a wchodząc do jednego zakładasz wirtualne gogle i umawiasz się z przyjaciółmi na spotkanie, którzy w tej samej chwili są w jednej z pozostałych restauracji – w innym kraju. Oszczędzacie sobie lotów, komfort spotkania wyższy niż zwykła telekonferencja.

Wirtualny youtuber ² [r-v: right, m: bottom]. Tym razem jesteśmy stricte w świecie wirtualnym. Do wirtualnej postaci dokładamy głos i motion capture żywego człowieka. Ale zupełnie inaczej będzie odebrane.

Koncert wirtualnej wokalistki ³ [r-v: left, m: middle]. W przeciwieństwie do wirtualnych youtuberów, których oglądamy przez Internet, tu kontekst jest inny. Oglądamy ich na żywo. I wszystko jest realne… poza wokalistką.

Okulary na opak ⁴ [r-v: left, m: top] . Okulary bardzo mocno zmieniają nasz odbiór rzeczywistości, mimo że same nie

Okulary dające termowizję ⁵ [r-v: left, m: middle]. Takie okulary mogą pomóc osobom pracującym z gorącymi przedmiotami się nie poparzyć.

Pokemon GO, Ingress [r-v: left, m: middle] ⁶. Płaszczyzna wirtualna rozciągnięta niejako nad mapą świata, umożliwiająca rozgrywanie rozgrywki poprzez eksplorację w świecie rzeczywistym.

Blokowanie ludzi w czasie rzeczywistym ⁷ [r-v: left, m: top]. To tylko eksperyment myślowy postaci co by było, gdyby… No właśnie. Co by było, gdyby technologia pozwoliła nam na wymazywanie osób z rzeczywistości?

Hologram piosenkarzy na scenie ⁸ [r-v: middle, m: top]. Czemu nie mielibyśmy nadać piosenkarzowi nadludzkich cech, teleportując go z jednego miejsca w drugie z użyciem jego hologramu i umiejętnej gry świateł?

Poszukuję dobrego przykładu dla severely mediated virtuality, na ten moment go nie mam.

Podsumowanie i dodatkowe uwagi

Kiedy byłem dzieckiem, patrząc w kalejdoskop, byłem zdumiony jak wyglądać może dość prosta w budowie rzecz. Dziś z kolei zafascynowany jestem, jak wiele wyjątkowych przykładów może się pojawić, kiedy jesteśmy już świadomi kontinuum reality-virtuality unmediated-mediated.

Idea tej przestrzeni służy jako konstrukt myślowy, żeby zrozumieć, że rzeczywistość i wirtualność nie są dwoma oddzielonymi od siebie terminami, oraz że stopień ingerencji w rzeczywistość i wirtualność może być różny. Bez silnych definicji nie używałbym jej do klasyfikowania przypadków do konkretnych podprzestrzeni.

W kontrze do używanego powszechnie zwrotu rozszerzona rzeczywistość, rzeczywistość może zostać również pozbawiona elementów. O tym mówił nam ślicznie przykład o blokowaniu ludzi w czasie rzeczywistym.

Ważne jest też zauważenie, że w wielu przypadkach klasyfikacja zależy od kontekstu, w którym poznaliśmy daną technologię/utwór.

Po więcej przykładów i dokładniejszy opis, zapraszam do artykułu Mediated Reality with implementations for everyday life.

---

A już niebawem prześledzimy odkrycia technologiczne, które umożliwiły rozkwit Hatsune Miku, a także wirtualnych YouTuberów.