Final Project Summary
The artistic research project Neuromatic Game Art, a collaboration of game arts, philosophy, and neuroscience, developed experimental game systems that explored the possibilities and limits of neurointerface-technology at the intersection of brain, computer, and arts. Electroencephalography (EEG) was used to measure the electrical activity of the brain. The project developed artistic forms of representing the resulting data streams in image and sound to make flow states and brain waves accessible in public performances in a playful ludic way.
This experimental “Ludic Method”, a major advance in art-science using repeatable and quantifiable rule systems in an artistic context, allowed to playfully integrate brain-computer interfaces into a publicly performed discourse of ethical dimensions from self-optimization using consumer-neurointerfaces to collection of personal data for AI training and the privacy issues associated with it.
However, rather than utilizing neurointerfaces only in their original purpose as measurement devices of brain activity, the project re-purposed them as artistic medium for self-expression instead of self-optimization, allowing signals such as muscle activity or electrode slippage that would have been regarded as artifacts in a scientific context to be used equally and meaningfully as data in the artistic context.
Already at project start, the Ludic Method approach resulted in a novel format of publicly performed artistic research, the Neuromatic Brainwave broadcasts series on social media (YouTube) in 2020 during the Covid-19 lockdowns. Art installations, exhibitions, festivals, and performances based on the same principle of playful public experimentation followed and are documented on this project webpage.
One of the highlights was a public performance using EEG and artificial intelligence in 2021, a neurophilosophical game chat. A large language model asked techno-philosopher Mark Coeckelbergh questions about the project while his brain activity was recorded. Another important performance was “Zero Action in the Savings Bank”, which dealt with the possible synchronization of brain signals from two performers in the cashier’s hall of the Otto Wagner Postsparkasse, an architectural icon in Vienna. In this metaphoric work, there was no monetary transaction in the cashier’s hall, only the flow of thoughts between both performers resting on examination couches and filmed by surveillance cameras. Brain waves, measured via neuro-interfaces, appeared live on a large screen like stock market prices.
The Ludic Method thus allowed to lucidly demonstrate that test subjects are also experimenters by shifting the roles and making all participants co-researchers. This enabled the research project to open new ways of dealing with novel technology, adopting and examining it in an artistic setting, transporting research out of the lab into the public in a playful way, and liberating technology in a form of self-empowerment from its potentially intimidating aura and exaggerated expectations.
Deutsch
Das künstlerische Forschungsprojekt Neuromatic Game Art, eine Zusammenarbeit von Spielkunst, Philosophie und Neurowissenschaft, entwickelte experimentelle Spielsysteme, welche die Möglichkeiten und Grenzen der Neurointerface-Technologie an der Schnittstelle von Gehirn, Computer und Kunst erforschten. Zur Messung der elektrischen Aktivität des Gehirns wurde die Elektroenzephalographie (EEG) eingesetzt. Das Projekt entwickelte künstlerische Formen der Darstellung der daraus resultierenden Datenströme in Bild und Ton, um Flow-Zustände und Gehirnströme in öffentlichen Performances auf spielerisch-ludische Weise zugänglich zu machen.
Diese experimentelle “Ludic-Methode”, die wiederholbare und quantifizierbare Regelsysteme in einem künstlerischen Kontext verwendet, war ein für künstlerische Forschung wichtiges Ergebnis. Sie ermöglichte es, Gehirn-Computer-Schnittstellen spielerisch in einen öffentlich geführten Diskurs über ethische Dimensionen zu integrieren, die von der Selbstoptimierung mit Hilfe von Verbraucher-Neuroschnittstellen bis hin zur Sammlung persönlicher Daten für das KI-Training und den damit verbundenen Fragen der Privatsphäre reichen.
Anstatt Neurointerfaces jedoch nur für ihren ursprünglichen Zweck als Messgeräte für Hirnaktivität zu nutzen, wurden sie im Rahmen des Projekts zu einem künstlerischen Medium. Signale aus Muskelaktivität oder dem Verrutschen von Elektroden, die in einem wissenschaftlichen Kontext als Artefakte betrachtet worden wären, wurden im künstlerischen Kontext als Daten genutzt.
Bereits zu Beginn des Projekts führte der Ansatz der Ludic-Methode zu einem neuartigen Format öffentlich aufgeführter künstlerischer Forschung, den Neuromatic Brainwave-Broadcasts auf sozialen Medien (YouTube) im Jahr 2020 während der Covid-19 Lockdowns. Es folgten Kunstinstallationen, Ausstellungen, Festivals und Performances, die auf dem gleichen Prinzip des spielerischen öffentlichen Experimentierens basieren und auf dieser Projektwebseite dokumentiert sind.
Einer der Höhepunkte war eine öffentliche Aufführung mit EEG und künstlicher Intelligenz im Jahr 2021, ein neurophilosophischer Spiele-Chat. Ein Large Language Model stellte dem Techno-Philosophen Mark Coeckelbergh Fragen über das Projekt, während seine Gehirnaktivität aufgezeichnet wurde. Eine weitere wichtige Performance war “Zero Action in the Savings Bank”, die sich mit der Synchronisation von Gehirnsignalen zweier Performer im Kassensaal der Otto Wagner Postsparkasse in Wien, beschäftigte. In dieser metaphorischen Arbeit gab es keine Geldtransaktion im Kassensaal, sondern nur den Gedankenfluss zwischen den beiden Performern, die auf Untersuchungsliegen ruhten und von Überwachungs-Kameras gefilmt wurden. Über Neuro-Interfaces gemessene Gehirnströme erschienen live auf einer großen Leinwand wie Börsenkurse.
Die Ludic-Methode ermöglichte es auf anschauliche Weise zu zeigen, dass Testpersonen ebenso Experimentatoren sind, indem sie die Rollen vertauschte und alle Teilnehmenden zu Mitforschern machte. So konnte das Forschungsprojekt neue Wege im Umgang mit neuartiger Technologie eröffnen, sie in einem künstlerischen Rahmen aufgreifen und untersuchen, die Forschung spielerisch aus dem Labor in die Öffentlichkeit tragen und die Technologie in einer Form der Selbstermächtigung von ihrer potenziell einschüchternden Aura und überzogenen Erwartungen befreien.