Adaptive Digital Twin
Im Ingenieurwesen bezieht sich die Produktion digitaler Zwillinge auf digitale Modelle hochempfindlicher und komplexer Maschinen, zum Beispiel Flugzeugstrahltriebwerke, um anhand laufender Aktualisierungsprozesse Ausfälle und andere Störungen antizipieren zu können. Dieses spezifische Regime digitaler Materialisierung diente als Anregung, potenzielle Folgen von Tumorwachstum im Bereich Neurochirurgie zu simulieren.
Precon: Pre-conditioning of the human motor system by non-invasive transcranial magnetic stimulation (to reduce risk in neurosurgery). Copyright: Lucius Fekonja
Das Projekt »Adaptive Digital Twin« zielt darauf ab, das Zentralnervensystem von gesunden Proband*innen und Patient*innen im digitalen Raum abzubilden. Wir untersuchen und entwickeln co-adaptive Modelle, die Simulation, statistische Analyse und visuelle Inspektion des Gehirns unter Verwendung individuell gewonnener funktioneller und struktureller Daten ermöglichen. Die Kombination heterogener Datenquellen und Anwendungen erlaubt, anatomische Veränderungen, zum Beispiel durch Tumorwachstum oder chirurgische Eingriffe, zu modellieren und Auswirkungen auf Anatomie, Netz und Funktionalität des jeweiligen Zentralnervensystems vorhersagen zu können. Die Datenquellen für diese Modelle basieren auf MRT-Daten, neuropsychologischen Tests und nicht-invasiver Hirnstimulation. Auf der Grundlage vielfältiger Datenerhebungen entwickeln wir fachspezifische Analysemethoden zur präoperativen Planung und Auswertung. Diese werden von Mediziner*innen der Klinik für Neurochirurgie der Charité – Universitätsmedizin Berlin erprobt und weiterentwickelt.
Brain Roads entstand aus dem Projekt Adaptive Digital Twin. Dieses Teilprojekt wird durch den deutsch-französischen DAAD gefördert und bringt Studierende der Fachrichtungen Grafikdesign und Softwareentwicklung in Verbindung. Gemeinsam entwickeln Neurowissenschaftler*innen, Psycholog*innen und Geisteswissenschaftler*innen neue Möglichkeiten der Datenvisualisierung und interaktive Werkzeuge im Kontext neurowissenschaftlicher Forschung.
Das Teilprojekt »Mattering Uncertainties« setzt sich mit der Frage nach den Wechselwirkungen zwischen algorithmischer Unsicherheit und menschlichem Durchsetzungsvermögen auseinander. Alle im digitalen Modell abgebildeten Strukturen und Prozesse sind einer gewissen statistischen Unsicherheit unterworfen. Gleichzeitig sind Chirurg*innen aufgefordert, zwischen Risiken und Nutzen verschiedener Alternativen abzuwägen, zum Beispiel bei der Entscheidung über die genaue Stelle der Schnittführung bei Tumoroperation. Das Ausführen eines »korrekten« Schnitts erfordert weit mehr als reine Informationsverarbeitung. Vielmehr handelt es sich um den epistemologischen Prozess des Verstehens einer Situation in Zusammenwirkung mit einem intelligenten Gerät. Auf Lücken in der Infrastruktur hinzuweisen, hilft tatsächlich beiden Seiten, dem Menschen wie auch dem Computersystem. Ziel ist das Erstellen von interaktiven Datenvisualisierungen, die Chirurg*innen dabei helfen können, sich auf relevante Informationen aus dem Hirnmodell zu beziehen. Dabei soll der Aspekt der Unsicherheit berücksichtigt, aber gleichzeitig auch individuelle Perspektiven und Erklärungsansprüche mit eingeschlossen werden. Dazu führen wir partizipative Designstudien zum Thema Unsicherheit als Information durch, um verschiedene Wahrnehmungsmodalitäten innerhalb Entscheidungsprozessen zu erforschen. Im Rahmen der Interface-Design-Forschung werden wir verschiedene Visualisierungsansätze evaluieren, um Typen der Unsicherheit zu vermitteln, die sich in der chirurgischen Praxis als relevant gezeigt haben. In enger Zusammenarbeit mit medizinischen Expert*innen und Interaktionsdesigner*innen zielt dieses Teilprojekt darauf ab, den Wahrnehmungsprozess, der zwischen Mensch und Maschine stattfindet, neu zu definieren. Unser Ziel ist die Infragestellung von üblichen Annahmen über die Unfähigkeit von Maschinen, ihre Fertigkeiten und Zweifel mit den User*innen zu teilen und umgekehrt.
Vor jedem chirurgischen Eingriff im Gehirn ist es entscheidend, die Funktionen im neuronalen Material so abzubilden, dass kognitive Fähigkeiten so weit wie möglich erhalten bleiben. Im Teilprojekt »Active Symbolic Brain Materials« werden strukturelle Merkmale der aktiven neuronalen Materie untersucht. Wir prüfen die Rolle, die diese Strukturen bei kognitiven Aktivitäten wie Sprache, Symbolerkennung oder Denken spielen. Dazu werden ›brain-inspired neural models‹ entwickelt, um wesentliche Sprachverarbeitungsfunktionen der jeweiligen Proband*innen und verschiedenen Patientenpopulationen nachzuahmen. In Zusammenarbeit mit dem Projekt Symbolic Material werden wir die evolutionären Entwicklungen neuronaler Strukturen beim Menschen und bei nichtmenschlichen Primaten simulieren und vergleichen, um ihre Rolle im symbolischen Denken besser zu verstehen.
Connectome-Konstruktion eines Patienten mit einem Tumor im sprach-eloquenten Areal des Gehirns.
Die Verbindungsstärken der weissen Substanz sind als Kanten (edges) mit einer heat map dargestellt (dunkel=schwache Verbindung, hell=starke Verbindung). Die kortikalen Areale des Gehirns und deren Grösse sind als Knoten (nodes) in Form von Kugeln illustriert. Zusätzlich sind drei orange-farbene TMS-Punkte zu sehen (TMS = Transkranielle Magnet-Stimulation). In diesen Bereichen konnte in diesem Fall das Sprachnetzwerk des Patienten nicht-invasiv gestört und entsprechend kartografiert werden.
Die Darstellung der weisen Substanz basiert auf der Traktografie. Dabei können die unterschiedlichen Richtungen der weissen Substanz mittels diffusionsgewichteter Magnetresonanztomografie gemessen und dargestellt werden. Copyright: Lucius Fekonja & Image Guidance Lab, Charité – Universitätsmedizin Berlin