Data-Driven Immersive Analytics (DDIA)

Digitale Repräsentationen von realen Objekten (digitale Zwillinge) werden immer wichtiger, nicht erst seit der Corona Pandemie, wo sich erstmals auf globaler Ebene die Vorteile von „immersiven“ Arbeitsumgebungen gezeigt haben. Immersiv nennt man das Eintauchen in digital visualisierte Welten, in denen es möglich ist, auf Daten oder digitale Zwillinge von Objekten zuzugreifen und mit ihnen zu interagieren.

Dennoch ist die Benutzerfreundlichkeit dieser immersiven Analyse- und Interaktionsverfahren derzeit nicht immer optimal, weil die digitalen Methoden anderen Logiken folgen als die physische, gewohnte Umgebung.

In diesem Forschungsprojekt arbeiten wir daran, solche Erfahrungen zu verbessern und personalisierte und benutzerfreundliche digitale Erfahrungen mit Daten und Analysen, die aus einer realen Umgebung stammen, anzubieten. Sowohl für den einzelnen Benutzer als auch für ganze Teams in der dislozierten Zusammenarbeit.

Digitale Zwillinge sind Repräsentationen realer Objekte unterschiedlicher Komplexität. Weil aber Benutzer:innen aus der Ferne nur ein eingeschränktes Raumgefühl haben, und die physische Welt und die Sprache der programmierten Interaktions- und Analysemetaphern nicht gut zusammenpassen, wirken diese digitalen Zwillinge häufig ungenügend visualisiert.

Eine konsistente Erfahrung von Daten und Analysen ist aber entscheidend für den Nutzen solcher digitaler Objekte.

Dieses Projekt zielt darauf ab, technologische Lösungen zu erforschen und zu entwickeln, um diesen Einschränkungen zu begegnen und die Fähigkeit zu stärken, aus sicherer Entfernung zu handeln.
Die riesigen Summen, die in die Digitalisierung investiert werden, führen zu komplexen „cyberphysischen Systemen“, d. h. physischen Systemen, die mit Netzen von Sensoren und Rechenkernen überwacht und gesteuert werden. Verschiedene Daten, die die physische Einheit repräsentieren, werden in digitalen Zwillingen gesammelt, die 3D-Strukturdaten, semantische Informationen und Sensordaten umfassen.

Dennoch ist die sensorische Erfahrung, die durch immersive Technologien geboten wird, trotz der jüngsten Fortschritte eher eingeschränkt. Die Daten sind zwar verfügbar, aber Zugang, Interaktion und Analyse sind von der physischen Einheit getrennt. Dies sind mühsame Aktivitäten, wenn sie in der physischen Welt durchgeführt werden. Visualisierungs- und Interaktionsmetaphern sowie Analysemethoden wurden einfach nicht für die Abbildung einer  physischen Welt entwickelt.

In verschiedenen Fachbereichen benötigen wir jedoch digitale Informationen über physische Einheiten in Echtzeit. Wie sollten also die Informationen über physisch und digital existierende Einheiten am besten in einer kohärenten Präsentation kombiniert werden? Und was sind geeignete Interaktionsparadigmen für Analyseprozesse in immersiven Umgebungen?

In diesem Projekt werden neue Berechnungsmethoden für immersive Analysen entwickelt, die sich auf
(1) Daten stützen, die von einer physischen Einheit über einen digitalen Zwilling stammen,
(2) Daten, die vom Benutzer stammen und mit physiologischen Sensoren erfasst werden, und
(3) Daten, die aus dem immersiven Erlebnis stammen, so genannte Spuren, die mit Softwaresensoren aufgezeichnet werden.

Kurz gesagt, es geht um die Frage, wie man immersive Datenansichten präsentiert und mit ihnen interagiert, welche physiologischen Merkmale zu einer Wahrnehmungsoptimierung und Personalisierung führen und wie man Spuren von Interaktionen in der Umgebung nutzt, um Empfehlungen und Anleitungen zu erstellen.

Das ultimative Ziel ist es, personalisierte Erfahrungen mit Daten und Analysen zu bieten, die in der realen Welt verankert sind – für den einzelnen Teilnehmer oder in Zusammenarbeit mit Gleichgesinnten vor Ort oder aus der Ferne.

• Erforschung von Modellen der verkörperten Interaktion mit immersiver Analytik.
• Entwicklung von Paradigmen für die kollaborative immersive Fernanalyse.
• Erforschung der Personalisierung auf der Grundlage von physiologischer Sensorik und sozialem immersiven Training.

This project aims to finance seven (7) researchers: a post-doctoral researcher and a team of six (6) PhD candi- dates. They have been organized along (3) phases, analysis, collaboration, and learning. These phases cut across six research topics (one for each PhD candidate). (See image below)

T1- Immersive Interaction with Digital Twin: T1 aims to investigate and advance interactions with the digital twin, including analytics methods and with historic data. Along these lines, we investigate the mental model that the user gains of the digital twin through interaction. This cognitive model will be used to propose novel para- digms to interact with analytics processes, including the manipulation and comparison of the situation presented by the data at various timesteps in the past (from historic data) or future if simulated data are available.

T2- Embodied interaction with data visualizations in space: T2 is intended to investigate the organization of space to deploy various forms of data views and how the user motion and action in space should influence the type of presentation. Data views can be created in 2D or 3D. They can be anchored in space around an object, attached to planar surfaces, or laid out around the user. We investigate various forms of presentation and or- ganization, aiming to make immersive analytics an extension of intuitive motion.

T3- Mediated perception for remote immersive analytics: For a remote user to perform analytics as if being present at the location where the data originates, it is necessary to capture the location and convey it with enough fidelity to the user’s senses. T3 is about research and development of a “mediated perception platform” to deliver first person immersive experience to remote participants, for example using a semi-autonomous robot.

T4- Effects of prior knowledge on experiencing remote work and collaboration in data analytics: We investigate how prior knowledge in the domain affects experience of and performance in remote and collaborative data analytics. Knowing the effect and relative importance of prior knowledge allows 1) taking informed decisions about whether to initiate collaboration in specific circumstances, 2) choosing additional participants for collabo- ration, and 3) taking countermeasures, such as providing upfront information or training.

T5- Physiological models for personalized immersive analytics: We investigate the effects that manifest them- selves in the user during the immersive experience. We will collect physiological data with sensors, incl. eye- tracking, heartrate, galvanic skin response, electro encephalogram, electromyography, etc. We will model the effects on human response and propose personalization and/or optimizations for the immersive experience.

T6- Social immersive training and support: This topic aims at investigating methods to exploit knowledge gained while a user performs the immersive experience. To do so, activity traces will be logged including the user actions in the virtual environment. We will investigate the use of activity traces in two ways: for personal- ized recommendations, and to create workflows for tutorials.

Eduardo Veas
eveas@know-center.at
+43 316 873 30 858