Digitization of Indigenous Knowledge for Extended Reality and Culture

Im Rahmen dieses Projektes wurde von malaysischen und deutschen Studierenden eine Plattform entwickelt, die es ermöglicht, einen Einblick in die kulturelle Vielfalt und das reichhaltige immaterielle Kulturerbe Borneos zu erhalten. Die AR-basierte »Museum Time Machine« präsentiert die architektonische Entwicklung des alten Museums von Sarawak und dessen Nutzung. Das Team arbeitete eine Woche lang daran, die sieben verschiedenen Bauphasen des Museumsgebäudes zu recherchieren und genaue 3D-Modelle zu erstellen. Die Studierenden integrierten die 3D-Modelle in die zugehörige Augmented Reality Anwendung, die zusätzlich die Geschichte und die architektonische Veränderung des Museums von 1891 bis 2022 darstellte. Ein besonderer Fokus lag dabei auch auf den historischen Baumaterialien und den klimatischen Umweltbedingungen des Baus. Das Team produzierte darüber hinaus einzelne audiovisuelle Komponenten zu besonderen Ereignissen, um die Interaktion mit den Besucher:innen durch Einblicke in die Geschichte des Gebäudes und dessen kulturelle Nutzung weiter zu vertiefen. Darüber hinaus entstand eine Broschüre mit ergänzenden Informationen über das Museum, dessen Seiten als Marker für die Anreicherung durch digitale Informationen dienen. Dadurch wird die Broschüre die Basis einer Augmented Reality Anwendung, kann aber auch ohne die erweiterte Realität nur für sich stehen. Die Gesamtanwendung ermöglicht es den Nutzer:innen, auf interaktive Weise einerseits in die reiche Geschichte des Museums einzutauchen und andererseits die Kulturen Borneos selbst im Spiegel ihrer musealen Repräsentation zu erkunden.

Die Themenstellung dieses Teilprojektes wurde maßgeblich von Gamia Dewanggamanik, Doktorandin der Glasgow School of Art und Jembelia Ania, einer erfahrenen Flechterin aus Kalimantan, initiiert. Ania unterrichtet Kinder und Jugendliche ihres Dorfes im indones­ischen Teil der Insel, diese traditionellen Techniken zu nutzen und eigene kunstgewerbliche Objekte anzufertigen. Mit ihr konnte das Team evaluieren, wo und wie Extended Reality Technologien in ihrem Arbeits- und Lehralltag sinnvoll zum Einsatz kommen können. Als eines ihrer zentralen Anliegen stellte sich heraus, dass besonders das Flechten von Motiven für sie schwierig zu unterrichten ist, da Ania die notwendigen Handgriffe als embodied knowledge sehr schnell von der Hand gehen und sich nicht leicht explizieren lassen.
Während der Summer School entstanden schließlich drei Hauptkomponenten: eine in Indonesisch und Englisch verfasste Broschüre mit über 40 Seiten, die einen Einblick in die Flechtkunst und deren Hintergründe gibt. Diese kann für sich allein stehen oder mit der zweiten Komponente, einer während der Summer School entwickelten AR-Anwendung, verwendet werden. Die native AR-Anwendung kann die Seiten der Broschüre digital erweitern und zusätzliche mediale Inhalte einblenden. Dazu gehören sowohl schematische Schritt-für-Schritt-Anleitungen zum Flechten der verschiedenen Motive als auch von den Kulturwissenschaftler:innen Alwin und Eileen im enger Zusammenarbeit mit Ania und Gamia aufgenommenen und bearbeiteten Videos, in denen Ania zeigt, wie diese Motive geflochten werden müssen. Ein digitaler „Basket-Creator“ lässt Nutzer:innen kreativ werden und erlaubt es, individuelle Körbe mit ausgewählten Mustern zu entwerfen. Ein kleines markerbasiertes AR-Spiel vermittelt spielerisch die verschiedenen Korbtypen und wofür diese verwendet werden.

Nicht zu vergessen ist, dass im Rahmen dieses Teilprojektes auch zwei Körbe mit unterschiedlichen Mustern entstanden sind, deren Herstellung mithilfe der Broschüre, aber auch mit der Augmented Reality App nachvollzogen werden kann.
Beide Körbe sind mittlerweile auch in Berlin zu bestaunen.

Thema dieses Teilprojekts war die Entwicklung einer App, um die Webkunst hinter der Herstellung von Pua Kumbu zu erhalten und Museumsgänger:innen den Materialeinsatz, die Farben und die Motive des Pua Kumbu nährer zu bringen. Pua Kumbu sind traditionelle Baumwolltextilien, die für sakrale Zeremonien und Heilrituale der indigenen Iban-Gemeinschaften von Sarawak verwendet werden. Traditionell unterliegen die Färbe- und Webprozesse bestimmten Regeln und Geboten aber auch Tabus, die eng mit dem Glauben der Iban verbunden sind. Die Frauen der Dorfgemeinschaften organisieren gemeinsam den Herstellungsprozess während nur Meisterweberinnen den Webvorgang selbst durchführen. Die erzeugten Muster repräsentieren dabei die Träume der Webmeisterinnen. Die Hauptsorge der Iban ist es, dass die Pua Kumbu-Muster heute kommerzialisiert und weit über die Grenzen der lokalen Dorfgemeinschaften verbreitet werden, während die Traditionen, Narrative und Bedeutungen hinter den Mustern in Vergessenheit geraten. Die Studierendengruppe entwickelte daher während der Sommerschule eine AR-App, um die mit dieser Webkunst verbundenen Traditionen auch jenseits der Dorfgrenzen zu vermitteln und zu erhalten.
In der App kann zu Beginn ein 3D-Modell einer Inselgruppe als digitale Welt im realen Raum positioniert werden. Sobald ein Benutzender nach der Platzierung eine der Inseln auswählt hat, die zum Beispiel die Produktion von Farben für Pua Kumbu-Textilien demonstriert, versetzt ihn die App in eine üppige 3D-Umgebung mit dem ausgestellten Pua Kumbu-Objekten, deren Farbzusammensetzungen und Motive die App erläutert. Die Wahl einer der anderen Inseln erlaubt etwa das digitale Eintauchen in das Modell eines Langhauses (longhouse), um mehr über das soziale Zusammenleben der Iban im Langhaus zu erfahren.

Dieses Teilprojekt der Summer School befasste sich mit der Entwicklung einer weiteren AR-Anwendung zur Erläuterung der Kampfkunst Seni Silat. Seni Silat wird in vielen Teilen Südostasiens ausgeübt, insbesondere in Indonesien, Malaysia, Singapur und Brunei. Seni Silat ist ein reicher und komplexer Teil des immateriellen Kulturerbes Südostasiens. Es ist ein Sammelbegriff, der verschiedene Kampfkunststile beschreibt, die gemeinsame Techniken, Prinzipien und Konzepte teilen. Das Wort »Seni« bezieht sich auf die künstlerischen und kulturellen Aspekte. Die Praxis des Seni Silat betont daher insbesondere die kulturelle und historische Bedeutung des Kampfsports durch Musik, Tanz und historische Kostüme. Seni Silat wird entsprechend nicht nur als Wettkampfsport betrieben, sondern auch als künstlerische Darbietungsform, die bei öffentlichen Veranstaltungen und Zeremonien wie Hochzeiten und Festen zur Aufführung kommt. Während der Summer School hatten wir die besondere Gelegenheit, Zuschauer der Sarawak Premier International Silat Championship zu werden, die gleichzeitig in Kuching stattfand.
Der Benutzer der von den Studierenden entwickelten AR-App öffnet zuerst die Anwendung auf seinem Smartphone und wählt eine Sprache aus. Während des Lesens der Broschüre können Nutzer:innen auf den durch ein spezielles AR-Icon markierten Seiten mit ihrem Smartphone zusätzliche Inhalte erscheinen lassen. Zunächst wird Nutzenden die spezielle Silat-Kleidung gezeigt, wobei einzelne Teile hervorgehoben und durch Zusatzinformationen erklärt werden. Die Anwendung erlaubt Nutzer:innen zusätzliche Interaktionen. So kann durch Tippen die Kleidung der dargestellten Figur geändert und die verschiedenen möglichen Kleidungsstücke für Silat kennengelernt werden. Die App erklärt auch einige der zentralen Bewegungsabläufe des Seni Silat Schritt für Schritt und animiert Nutzende zum Nachmachen.