Oszilieren zwischen physischer und virtueller Taktilität

The ultimate display would, of course, be a room within which the computer can control the existence of matter. A chair displayed in such a room would be good enough to sit in. Handcuffs displayed in such a room would be confining, and a bullet displayed in such a room would be fatal. (Sutherland, 1965)

Die Einführung des Konzeptes »der ultimativen Darbietung« (the ultimate display) durch Ivan Sutherland gilt als Geburtsstunde der ›Virtual Reality‹, kurz VR. Die technologischen Entwicklungen der letzten 50 Jahre haben seither immer realistischer wirkendende Erlebnisse hervorgebracht die Empfindungen reproduzieren, die mit der physischen Welt verbunden sind (Dangxiao, 2019). Allerdings adressieren einschlägige Systeme primär lediglich zwei der menschlichen Sinne – unser Sehen und Hören. Im Vergleich dazu ist unsere Haut und mit ihr unser Tastsinn eine wenig erforschte sensorische Schnittstelle für VR und AR (Augmented Realities) Technologien. Dabei bildet die Haut die Basis all unserer physischen Interaktionen mit der Außenwelt. Haptische Sinneswahrnehmungen erzeugen die tiefste und emotionalste Art von Kontakten zwischen Individuen und sind somit unerlässlich für immersive virtuelle Erfahrungen (Yu, 2019). 

›Virtuelle Realitäten› verstehen wir jedoch nicht allein als Sammelbegriff für Technologien, sondern als die digitale Anreicherung physikalischer Räume und Objekte zu multi-sensuellen Informationsebenen. Dabei interessieren uns besonders die Potenziale immersiver Erlebnisse außerhalb von Gaming und Entertainment.

Ziel des Projektes ist es mittels digitaler und physischer Werkzeuge synästhetische Reize zu erzeugen um ›hyperrealistische› Erfahrungen zu kreieren. Der gestalterische Fokus liegt hier auf dem prototypisieren und kuratieren von Sinneseindrücken. Wie lässt sich Haptik und Materialität in das Virtuelle transportieren? Und wie wieder zurück? Wie können Sinne sinnvoll gekoppelt werden um die physische Realität zu ergänzen und zu erweitern? Im Laufe des Entwurfprojekts erforschen wir Erfahrungsmuster als multi-sensorischen Daten, welche sich manipulieren und programmieren lassen. »Uns interessiert, ob und wie sich gelernte Erfahrungsmuster verändern lassen und wie wir unsere Wahrnehmung neu konditionieren können« formuliert es der Kurator Mike Meiré.

›Hyper Haptics‹ ist Teil der Vorlesungsreihe ›Embodied Interactions‹ die in Kooperation zwischen Kunsthochschule ›weißesee‹ und dem Exzellenzcluster ›Matters of Activity‹ stattfindet. Den Einstieg bildet eine Einführung in die Forschungsarbeit des Projekts ›Cutting‹, welches sich mit den kulturellen Praktiken des ›Schneidens‹ befasst und diese sowohl als Prozess des Zerteilens als auch des Komponierens, letztendlich des Entscheidens versteht. 

Die sich anschließende Entwurfsarbeit ist in drei Design Sprints eingeteilt, von denen jeder eine Technologie und thematischen Schwerpunkt adressiert. Begleitet werden wird der Kurs dabei von einer Reihe Experten und Expertinnen. Ein wichtiger Bestandteil der Sprints ist das Erstellen von physischen Objekten, die eine digitale Ebene aufweisen. Ziel ist das kollektive Erarbeiten eines Sensoriums in dem die Varianz der Prototypen, haptische Erweiterungen und Erfahrungen diskutiert.

Oscillating between physical and virtual tactility 

The introduction of the concept of „the ultimate display“ by Ivan Sutherland is regarded as the birth of Virtual Reality, or VR for short. The technological developments of the last 50 years have since then produced increasingly realistic experiences that reproduce sensations associated with the physical world (Dangxiao, 2019). However, these systems primarily address only two of the human senses - our sight and hearing. In comparison, our skin and with it our sense of touch is a little-explored sensory interface for VR and AR (Augmented Realities) technologies. The skin forms the basis of all our physical interactions with the outside world. Tactile sensations generate the deepest and most emotional kind of contact between individuals and are therefore essential for immersive virtual experiences (Yu, 2019).

We understand 'virtual reality' not only as a collective term for dedicated technologies, but also as the digital enrichment of physical spaces and objects with multi-sensual levels of information.

The aim of the project is to explore the extent to which virtual realities can generate not only equivalent but completely new 'hyper-realistic' experiences by means of synaesthetic stimuli. How can haptics and materiality be transported into the virtual? How can senses be meaningfully coupled to complement and expand physical reality? How can the imagination of users be stimulated while they mentally construct imaginary virtual worlds beyond spatial and temporal boundaries?

If experiences are basically multi-sensory data, they can be manipulated in the end. „We are interested in whether and how learned patterns of experience can be changed and how we can recondition our perception,“ says curator Mike Meiré. Areas of application in which the wonderful perceptual abilities of humans can be expanded are numerous and range from education, communication and entertainment to medicine and rehabilitation. Part of the project will therefore be to identify meaningful applications and to design suitable solutions.

The project is based on the research work of the 'Cutting' project at the Cluster of Excellence 'Matters of Activity', which deals with the cultural practices of 'cutting' and understands them as a process of dividing as well as composing, ultimately deciding.

Betreuung durch / Supervision

Prof. Carola Zwick 
Judith Glaser 
Felix Rasehorn
Hanna Wiesener

In Zusammenarbeit mit / In collaboration
dem eLAB unter Leitung von Felix Groll.

Sowie externe Experten / Supported by the experts 
Dr. Olivier Bau (Computer Science) 
Paula van Brummelen (Textil- und Flächendesign) 
Dr. Maxime le Calvé (Soziale Anthropologie) 
Christoph Volbers (Design)

References

Sutherland, Ivan, The Ultimate Display, Proceedings of IFIP Congress, pp. 506-508, 1965.

Yu, X., Xie, Z., Yu, Y. et al. Skin-integrated wireless haptic interfaces for virtual and augmented reality. Nature 575, 473–479, 2019.

Dangxiao Wang et al., Haptic display for virtual reality: progress and challenges, in: Virtual Reality & Intelligent Hardware, Volume1, Issue 2, Pages 136-162, 2019