Forschung im Rahmen des Living Labs

Innerhalb des Labors werden unterschiedliche Forschungsthemen strukturiert bearbeitet. Forschungsziele sind dabei:

  1. Entwicklung optimierter, immersiver Motion-Simulationskonzepte & Motion-Profile für spezifische Simulationsumgebungen und Fahr-/Flugzeuge. Nutzung dieser Technologien für ein optimiertes Pilotentraining im Bereich Motorsport und Flugausbildung
  2. Automatisierte Piloten-Analyse mittels Verfahren der künstlichen Intelligenz inkl. entsprechender Rückschlüsse auf Fehlerquellen
  3. Entwicklung von Pre-Safety-Assist Features der nächsten Generation in der Automotive bzw. Aviation Domäne
    (Proaktive / verhaltens- & erfahrungsbasierte Prädiktion kritischer Situationen anstatt wie bisher nur reaktiv / sensorik-basiert)

Auf einige Details innerhalb der Schwerpunkte soll im Folgenden näher eingegangen werden.

Viele Forschungsprojekte konzentrieren sich aktuell auf die Feinabstimmung der Bewegungsprofile für die unterschiedlichen Motion-Simulationskonzepte und Technikkomponenten. Speziell beim Einsatz von VR-Technologien muss hier die Synchronisation von Bewegungsimpulsen und VR-Umgebung perfekt harmonieren, um ein realistisches Gesamtergebnis zu erschaffen. Falsche oder nicht hinreichend abgestimmte Szenarien enden schnell in der sogenannten „Motion Sickness“ (Kinetose = Bewegungskrankheit), d.h. einer starken Übelkeit beim Fahrer durch widersprüchliche physische und visuelle Reize. Gleichzeitig ist dies jedoch auch ein guter Indikator für die Evaluation der Simulationsplattformen.

Ziel des Forschungsbereiches ist die ganzheitlich an das Thema Motion Simulation adaptierte Betrachtung der Datenverarbeitungskette. Im Kontext klassischer Data Science / Data Analytics sollen Piloten während ihrer virtuellen Aktivitäten hinsichtlich wesentlicher Vital- & Bio-Daten untersucht werden.

In der konkreten Anwendungsdomäne werden die Fahrzeugtelemetriedaten aus der Simulation mit weiteren Sensorikmodulen und Toolkits ergänzt:

  • EKG Daten (Elektrokardiogramm): Herzschlagmessungen,
  • EDA-Daten (elektrodermale Aktivität): Hautoberflächenspannung zur Analyse des Schweißlevels auf der Haut
  • EEG-Daten (Elektroenzephalografie): Hirnstrommessungen zur Messung von Hirn-Aktivitäten
  • [in Planung] Blutdruck-Messungen

Auf Basis dieser Datensätze können Rückschlüsse auf das Stress- & Immersionslevel der Probanden abgeleitet werden. Außerdem wird evaluiert, inwieweit moderne Fitness-Tracker-Armbänder und Smart Watches die oben genannten Messungen zuverlässig und hinreichend genau übernehmen können, um so die Handhabbarkeit im Rahmen der Messreihen zu erleichtern.

Die physisch korrekten Feedback-Informationen der Motion-Simulatoren sind dabei von zentraler Bedeutung und müssen vollständig synchron zum audio-visuellen Erlebnis ausgegeben werden. Effekt-Umsetzung und Effekt-Intensität der Simulator-Plattformen sind dabei entscheidend für ein realistisch wirkendes Fahr-/Flugerlebnis.

Für eine umfassende Auswertung erfolgt die Datenfusion von Vitaldaten der Piloten und Telemetriedaten der Simulation bzw. Fahrzeug. Die synchronisierten Data Sets werden gespeichert und können anschließend mit Verläufen realer Fahrerlebnisse abgeglichen werden. Je nach Umsetzungsgrad und Güte der Simulationsszenarien lassen sich hier in den zeitlichen Verläufen der Vitaldaten Analogien zwischen realem und virtuellem Erlebnis ableiten. Die gemessene Synchronität und der Offset beider Datenverläufe liefert qualifizierbare Aussagen zu erreichen Immersionslevel der Simulation bzw. des Simulatoraufbaus.

Langfristiges Ziel ist es, mittels adaptiver Simulatoren hochwertige Ausbildungsszenarien für den Motorsport-Sektor bereitzustellen. Eine umfassende Telemetriedatenbank liefert Informationen zum Skill-Level der Fahrer und erkennt vollautomisch Fahrfehler und schlägt Verbesserungen vor. In einem iterativen Prozess wird so einerseits das fahrerische Können verbessert, andererseits kann auch die Lernkurve der Piloten analysiert und verglichen werden. Konzentrationsschwächen können bspw. so gezielt bekämpft werden und die Suche talentierte Piloten wird durch Verfahren der Künstlichen Intelligenz effizienter gestaltet.

Die Methoden und Konzepte eigen sich ebenfalls hervorragend in der Pilotenausbildung. Die Kombination von immersiven Simulationsszenarien und realitätsnaher Peripherie ermöglicht hier eine signifikante Steigerung der Ausbildungsqualität bei einem sehr wirtschaftlichen Ressourceneinsatz.

Ziel dieses Forschungsbereiches ist es daher, der Grad der Immersion mittels strukturierter Datenanalyse in seiner Qualität messbar zu machen. Entsprechend erforderliche Metriken zur Abbildung von Messdaten auf die Immersionsgüte sind Gegenstand aktueller Testreihen.

Die Inhalte innerhalb des Forschungsbereiches können somit wie folgt zusammengefasst werden:

  • Analyse der Fahrerdaten und der Fahrerprofile
  • Vergleichende Datenanalyse in der Simulatoren und in der Realität
  • Live-Analyse von Fahrsituation, gestützt durch Konzepte im Bereich Machine Learning
  • Datenvisualisierung & Dateninterpretation
  • eingesetzte Werkzeuge & Tools
    • MoTec
    • ATLAS
    • RN Analyzer
    • Rapidminer
    • Knime
    • MatLab

Moderne Virtual-Reality-(VR-)Headsets oder Augmented-Reality-(AR-)Systeme verbessern das simulierte Fahrerlebnis signifikant. Der Grad der Immersion, d.h. die Intensität des Eintauchens in die simulierte Umgebung steigt erheblich, das emotionale Erlebnis wird somit maximiert.

In diesem Kontext werden unterschiedliche VR-/AR-Systeme hinsichtlich der Eignung für Motion-Simulationsanwendungen evaluiert. Hier spielen mehrere domänenspezifische Rahmenbedingungen vor allem hinsichtlich der Tracking-Konzepte eine wesentliche Rolle:

  • starke, schnelle Erschütterungen während der Simulationen (Auswirkungen auf Gyro- / Beschleunigungssensorik)
  • statische Sitzpostion mit dynamischen Simulator-Aufbau um den Piloten herum (relative Bewegungen im Raum)
  • sehr kurze Abstände zwischen VR-/AR-Brille und Simulatorperipherie (z.B. Monitorhalterungen) beeinflussen die Trackingqualität, speziell bei rein bildbasierten Trackingverfahren

Die gezielte Integration von VR-/AR-Technologien in Motion-Simulationen hängt in Folge dessen von vielen Einflussfaktoren ab. Inwieweit derartige Technologien dem Immersionsgefühl zuträglich sind oder auch kontraproduktiv wirken, muss anhand strukturierter Messreihen analysiert werden. Einzelne Nutzergruppen interpretieren die Kombination aus audiovisuellen Reizen und taktilen Feedbacksignalen unterschiedlich. Alter, Geschlecht, körperliche Fitness, Erfahrungswerte oder emotionale Zustände beeinflussen die Wahrnehmungen in spezifischen Bereichen.

Aktuelle Fahrsicherheitssysteme sind von reaktiver Natur und warnen den Fahrer erst dann vor Gefahrensituationen, wenn sie bereits erkannt wurden. Diese Verzögerungen in der Reaktionszeit können in kritischen Momenten entscheidend sein. Prädiktive Methoden der Datenanalyse eröffnen hier völlig neue Möglichkeiten, Gefahrensituationen adaptiv zu vermeiden.

Aktuelle Sensorik und leistungsstarke Verarbeitungseinheiten im Fahrzeug ermöglichen es nun, enorme Datenmengen in Echtzeit zu verarbeiten. Hierbei sind insbesondere Kameras sowie integrierte Sensoriksysteme moderner Fahrzeugen von entscheidender Bedeutung. Diese Systeme erfassen permanent Informationen aus der Umgebung und dem Fahrzeug selbst. Die daraus resultierenden Datenströme bilden die Grundlage für Anwendungen im Bereich Maschineller Lernverfahren (ML).

Durch die Analyse umfangreicher Fahrdaten können ML-Verfahren nun so trainiert werden, dass sie Rahmenbedingungen gefährlicher Fahrsituationen erlernen und identifizieren können. Dies bedeutet, dass nicht erst eine unmittelbare Gefahr erkannt werden muss, bevor eine Warnung ausgegeben wird. Stattdessen sind die ML-Algorithmen in der Lage, komplexe Fahrsituationen kontinuierlich zu analysieren und zu bewerten. Prädiktionsalgorithmen weisen den Fahrer folglich bereits vor der eigentlichen Gefahrensituationen darauf hin, dass die Kombination der aktuellen Fahrdaten und Umweltinformationen unmittelbar bevorstehend als kritisch eingestuft wird. Die ML-Verfahren adaptieren sich dabei automatisch an den jeweiligen Rahmenbedingungen und die jeweiligen Fahrer.

Die Möglichkeiten hinsichtlich Verbesserungen der Fahrsicherheit sind hierbei vielseitig und bieten enormes Potential. Statt lediglich zu reagieren, können moderne ML-gestützte Sicherheitssysteme nun proaktiv dazu beitragen, Unfälle zu verhindern und Leben zu retten, indem sie frühzeitig auf potenzielle Gefahren hinweisen und dem Fahrer wertvolle Informationen und Unterstützung bieten.

Lehre im Rahmen des Living Labs

Lehre & Forschung greifen im Living Lab „Motion Simulation & Softwareentwicklung“ harmonisch ineinander. Studenten gewinnen frühzeitig Einblicke in die Forschung an der Hochschule Mittweida und können vermitteltes Grundlagenwissen praktisch vertiefen.  Das Konzept „Living Lab“ bildet ein interdisziplinäres Lehr- und Lernfeld mit unterschiedlichen Schwerpunkten aus der Informatik, den Medien sowie aus der Elektrotechnik/Automation und den klassischen Ingenieurwissenschaften. Diese Interdisziplinarität finden die Studierenden auch als Anforderung der Wirtschaft wieder, wo das Verständnis von integrierten, komplexen Systemen immer stärker im Vordergrund steht.

Im Lehrfeld der Datenanalyse betrachten wir die gesamte Datenverarbeitungskette, beginnend von der Rohdatenakquise bis hin zur Datenvisualisierung und Interpretation. Studierende lernen dabei die Aufgabenfelder eines „Data Scientist“ kennen und sind somit befähigt, domänenunabhängig Aufgabenstellungen im Bereich der Datenanalyse zu bearbeiten.

Die Identifizierung applikationsspezifischer Herausforderungen, Aufwandsabschätzungen sowie das Herausarbeiten relevanter Parameter und Datendimensionen ist dabei von besonderer Wichtigkeit. Das Wissen über die Qualität der Daten, Möglichkeiten zur Synchronisation unterschiedlicher Datenquellen sowie Kenntnisse die Skalierbarkeit der gesamten Datenverarbeitungskette ermöglicht es den Studierenden, komplexe Sachverhalte zu verstehen und zielgerichtet auf Basis geeigneter Visualisierungen zu analysieren.

Ausgehend von den Datenverarbeitungsprozessen innerhalb der Datenanalysen & des Data Minings lernen die Studierenden die Nutzung von Konzepten des Maschinellen Lernens, um so multidimensionale Daten effizienter bewerten und analysieren zu können. Die Qualität der eingehenden Daten ist dabei entscheidend für die Güte der Verfahren. Entsprechend konzentriert sich dieser Ausbildungskomplex auf die korrekte Datenaufbereitung & Bereinigung. Anschließend können die unterschiedlichen Lösungsverfahren des Maschinellen Lernens qualitativ und quantitativ hinsichtlich des Ressourcenverbrauch & Ergebnisgüte bewertet werden. Hier liegt der Fokus auf Verfahren im Bereich:

  • künstlicher neuronaler Netze & Deep Learning
  • Ensemble Learning
  • Support Vector Machines
  • Entscheidungsbäume
  • Boosting Verfahren für Entscheidungsbäume

Ziel in diesem kreativen Ausbildungsbereich ist die Umsetzung realer Elemente, Szenen oder Eindrücke in eine Simulationsumgebung. Das Living Lab hat dabei einen starken Fokus auf möglichst realistische Umsetzungen mit komplexen Shadern, Beleuchtungskonzepten und detaillierten Texturen. So können Fahrzeuge, Strecken und individuelle Assets in die Simulation integriert und genutzt werden.

Nachfolgend sehen Sie hierzu ein Bespiel im Fahrzeugmodellierung. Das Formula Student Elektro-Rennfahrzeug „El Cobra“ der Hochschule Mittweida wurde im Rahmen von studentischen Arbeiten (hier Moritz Mayer, B.Sc.) detailgetreu und ganzheitlich virtuell umgesetzt. Dies umfasst auch Fahreranimationen im Bereich der Lenkachse sowie die Feder- & Lenkmechanismen im Bereich der Vorderachsaufhängungen. Die beiden Darstellungen zeigen jeweils den Vorher-Nachher Vergleich von realem Fahrzeug und virtueller Umsetzung.

Auch im Bereich der Umgebungs- & Streckenmodellierung existieren hier vielfältige Projekte. Da die Hochschule Mittweida über keine eigene Renn- bzw. Teststrecke verfügt, soll hier ein virtueller Rundkurs in und um den Campus entstehen. Ausgangspunkt hierfür ist zunächst eine detailgetreue Nachbildung der realen Umgebung. In diesem Kontext wurde von Studierenden der Medieninformatik ein virtuelles Abbild des Campus um den Schwanenteich entwickelt. Wie dies schließlich aussieht, zeigt der nachfolgende Trailer.

Im Bereich der Streckenmodellierung sind Konzepte zur generischen bzw. teilautomatisierten Streckengenerierung Gegenstand aktueller Arbeiten. So sollen ohne aufwändige manuelle Modellierungsprozesse Strecken oder Streckenabschnitte auf Basis definierter Rahmenbedingungen (Kurvenintensität, Gelände, geographische Ausdehnung, Vegetation, Fahrbahnbelag, etc.) prozedural automatisiert erstellt werden. Ein Beispiel für die prozedurale Streckengenerierung zeigen die nachfolgenden Grafiken im Rahmen der Arbeiten von Joshua Queck, B.Sc.