Die nach wie vor rasante Entwicklung von Künstlicher Intelligenz (KI) und Large Language Models (LLMs) wirft für mich diverse spannende Fragen auf: Wie kann ich sie in meinen Arbeitsprozess einbeziehen? Wie sieht eine ethisch verantwortbare und rechtlich sichere Nutzung aus? Oder: Welche Bildungspotenziale stecken in KI?
Eine weitere Frage, die ich mir aktuell stelle, hat mit meinem Arbeitsschwerpunkt Game-Based Learning zu tun: Kann man mit einer KI ein analoges Lernspiel spielen?
Um erste Antworten zu finden, habe ich mich dazu entschlossen, es selbst auszuprobieren. Ich habe also ein kleines Experiment durchgeführt. Dieser Artikel schildert meine daraus resultierenden Erfahrungen und Überlegungen.
Weshalb überhaupt mit der KI spielen?
Im Wesentlichen waren es zwei Gründe, die mich dazu motiviert hatten, mich mit der Spielfähigkeit von KI auseinanderzusetzen. Einerseits suche ich immer wieder nach neuen Herausforderungen, die das Potenzial von KI praxisnah auf die Probe stellen. Andererseits inspirierte mich die Vorarbeit von Daniel Bernsen. Ende 2022 hatte er mit ChatGPT Inhalte aus dem von ihm und Ron Hild entwickelten Spiel Textura bearbeiten lassen. Das weckte in mir das Interesse, konkret das Spiel Textura mit ChatGPT – also einem Large Language Model – zu spielen.
Die bisherigen Diskussionen in unserem Podcast und der Fortschritt von ChatGPT, das mittlerweile auch Bilderkennung umfasst, waren für mich weitere Anreize, dieses Experiment anzugehen. Meine Fragen wurden konkreter: Wie gut kann sich eine KI in die Regeln eines analogen Spiels einarbeiten? Kann sie „eigenständig“ ein Spiel mitspielen? Kann sie den Spielablauf verinnerlichen und das Spiel „richtig“ spielen?
Meine bisherigen KI-Erfahrungen
Meine Erfahrungen mit der EMPAMOS-KI haben mir gezeigt, dass eine dialogische Herangehensweise an die Arbeit mit KI-Systemen sehr effektiv sein kann.
Es ist mir wichtig, die Arbeit mit einer KI als iterativen kooperativen Findungsprozess zu betrachten. Man macht einen Prompt, erhält eine Ausgabe, verarbeitet diese, nimmt neue Impulse daraus auf oder entdeckt Fehler und Missverständnisse. Dann macht man einen darauf aufbauenden weiteren Prompt, usw.
Dieses Prinzip des „gemeinsamen Erarbeitens“ habe ich auf mein Spiel-Experiment übertragen. Statt die KI lediglich als Werkzeug zu betrachten, das auf Befehl arbeitet, habe ich sie als Partnerin betrachtet – eine Partnerin, die wie ein menschlicher Mitspieler Spielfehler macht, sich aber auch mit zunehmendem Spielverständnis verbessert.
Mit dieser Herangehensweise konnte ich die KI schrittweise an das Spiel heranführen und Missverständnisse klären. Aber wie sah das nun konkret aus?
Auch die KI muss Spielregeln lernen
Ein wesentlicher erster Schritt in diesem Experiment war das Einüben der Spielregeln. Zunächst habe ich ChatGPT das Spielmaterial anhand eines typischen Spielaufbaus präsentiert. Dazu nutzte ich die Bilderkennung der Version 4.o.
Außerdem habe ich die grundlegenden Spielprinzipien erklärt. Ein Verständnis für das Spiel entwickelte sich erst nach mehreren Interaktionen. Es war notwendig, die KI Schritt für Schritt an die korrekten Spielzüge heranzuführen und immer wieder Feedback zu geben.
Die KI erlernte erst nach und nach, Ereigniskarten korrekt miteinander zu verknüpfen und verschiedene historische Erzählungen dazu zu entwickeln, die unterschiedliche Deutungen der Ereignisse und Symbole beinhalteten.
Trotz einiger anfänglicher Fehler und Missverständnisse konnte die KI schließlich für den Anfang akzeptable Ergebnisse liefern. Fehler in der Logik der Aussagen oder bei der zeitlichen Abfolge ignorierte ich, schließlich ging es mir in diesem Experiment um ein korrektes Spielverständnis.
Ab jetzt gilt’s! – Eine richtige Spielrunde
So vorbereitet ging es an die erste echte Spielrunde. Dazu nutzten wir die Textura-Spielvariante „Was wissen wir schon? – Einstieg in ein neues Thema“.
Ich legte ChatGPT neue, der KI bis dahin unbekannte Ereignis- und Verknüpfungskärtchen aus Textura vor.
In dieser Spielrunde zeigte sich, dass die KI durchaus in der Lage ist, den Spielregeln zu folgen und eigene Spielzüge zu machen – wenn auch mit Spielfehlern hier und da. So musste ich immer wieder überprüfen, ob sie zum Beispiel den korrekten Spielstand wiedergab und die richtigen Verknüpfungen herstellte. Es war ein ständiges Hin und Her, bei dem ich die KI korrigierte und sie im Gegenzug neue Spielzüge vorschlug. Auch hier gab es wieder inhaltliche und logische Mängel, zum Beispiel bei der Deutung der Symbole auf den Verknüpfungskarten. Das Einhalten der Spielregeln und das Durchführen eines Spielzugs funktionierte letzten Endes aber.
So ließ ich die KI ein Netzwerk aus Ereignis- und Verbindungskarten weiterentwickeln, bis es schließlich vier Verbindungen zwischen fünf Ereignissen hergestellt und gedeutet hatte. Das gelegte Netzwerk sah so aus:
Fazit: Kann man mit Large Language Models analoge Spiele spielen?
Ja – allerdings mit Einschränkungen. ChatGPT konnte die grundlegenden Spielregeln erlernen und umsetzen. Doch ich musste sie regelmäßig überprüfen und korrigieren. Besonders im Kontext eines Lernspiels, bei dem es auf inhaltliche Genauigkeit ankommt, ist dies entscheidend. Ein analoges Spiel mit ChatGPT zu spielen, erfordert eine aktive und kritische Rolle des menschlichen Spielers. Da unterscheidet sich das „Spielen mit einer KI“ also nicht vom „normale Arbeiten“ mit ihr.
Grundsätzlich hat mich dieses Spielexperiment in meiner dialogischen Herangehensweise an die Arbeit mit einer KI bestätigt. Und es hat verdeutlicht, wie wichtig eine kritische Haltung im Umgang mit den Ausgaben der KI ist. Man muss bereit sein, die KI kontinuierlich zu schulen und ihr Feedback zu geben. Ähnlich wie man es mit menschlichen Mitspielern, die ein Spiel erlernen, tun würde.
Für mich verdeutlicht dieses Experiment damit auch, wie zentral die 4K sind im Umgang mit dem vermutlich wichtigsten digitalen Medium des 21. Jahrhunderts. Beim Prompting, bei der Überprüfung der KI-Ausgaben, wie auch beim gemeinsamen iterativen Vorankommen mit der KI – überall sind kritisches Denken, Kreativität sowie kommunikative und kollaborative Fähigkeiten voll gefordert. Sonst klappt das Spielen mit der KI einfach nicht.
Wie geht es weiter?
In diesem Experiment hat die KI gewissermaßen „solo“ gespielt. Als Nächstes könnten weitere Spielrunden durchgeführt werden, bei denen Mensch und KI abwechselnd Spielzüge machen. Einerseits könnten die Fehleranfälligkeit und Unstimmigkeiten im Spielablauf dabei vielleicht weiter reduziert werden. Andererseits würden sicherlich neue Aspekte auftreten, die sowohl Handlungsbedarf, als auch neue Erkenntnisse zur Spielfähigkeit von KI aufdecken würden.
Dabei wäre es eventuell sinnvoll, ein inhaltlich einfacheres Spiel zu nutzen, also kein Lernspiel. So könnte der KI eventuell auch eine größere Hürde genommen werden.
Gleichzeitig werden die nächsten KI-Versionen neue Fähigkeiten beherrschen, die es abzuwarten lohnt. Die Forschungsrichtung der neuro-symbolischen KIs, die ich über die EMPAMOS-Community kennenlernen durfte, könnte dahingehend vielversprechend sein. Vermutlich fällt es einer derartigen KI deutlich leichter, ein Spiel zu erlernen.
Bis dahin schadet es aber bestimmt auch nicht, die eigenen Kompetenzen im Umgang mit KIs zu schulen. Und auch das hat dieses Experiment gezeigt: Das funktioniert richtig gut, beim gemeinsamen Spielen mit einer KI.
Ich habe mit ChatGPT versucht Franchise (Queen Games) zu spielen. ChatGPT behauptete zwar das Spiel spielen zu können, aber schon beim ersten Spielzug wurde klar, dass dem nicht so ist. Mit einer Stadt begonnen, wo man gar nicht beginnen darf (zu Beginn darf nur in Kleinstädte gesetzt werden). Die Verbindungen zwischen den einzelnen Städten musste ich immer wieder korrigieren und zum Teil hat er auch in Städte expandieren wollen, die es auf dem Spielplan gar nicht gibt.
Da die ChatGPT Anfrage ohne Gedächtnis sind und daher immer wieder ein Ausschnitt des bisherigen Spiels mitgegeben wird, kann man sich leicht vorstellen, dass nach ein paar Spielzügen ChatGPT nicht mehr klar ist, was er schon gezogen hat und wie die Situation aktuell auf dem Spielfeld ist.
Ich könnte nun in bei jeder Anfrage einen abstrakten Aufbau des Spielplans mitgeben, damit die KI die aktuelle Spielsituation immer vor Augen hat, aber woher soll ChatGPT nun wirklich eine Strategie entwickeln? Wann ist es wichtig auf Geld zu setzen, wann die Städte dicht machen. Wenn man die KI nach diesen Strategien fragt, dann hat er natürlich immer eine Antwort, aber im Grunde genommen faselt er nur vor sich hin.
Um eine solche Art von Strategiespiel zu spielen, muss im Grunde genommen ein Deep Reinforcement Learning implementiert werden, war hinter ChatGPT nur im ganz geringen Maße und für einen anderen Einsatz vorhanden ist.
Vielen Dank fürs Teilen der Beobachtungen beim Spiel „KI gegen Mensch“, Thomas! Ich finde die Einschätzung sehr nachvollziehbar, v.a. was die Herausforderungen eines LLM betrifft, wenn es um die Abbildung des Spielstands, ein spielbezogenes Gedächtnis und die Strategieentwicklung geht. Ich glaube auch, dass dafür andere Systeme besser geeignet sind. Allen voran Deep Reinforcement Learning, weil es mit dynamischen Spielsituationen besser umgehen kann. Wenn ich es richtig verstehe, kann ein LLM für sich genommen auch den Wert einer Entscheidung nicht spielübegreifend erkennen. Das ist ja zentral um abzuschätzen, ob sich ein Spielzug überhaupt lohnt. So fehlt oft das Verständnis für die gesamte Spielsituation.
Ich habe zuletzt noch bei „Regelkunde“ und „Strategieberatung“ mit LLMs experimentiert. Für Regelkunde scheint mir aktuell ein Retrieval-Augmented-Setup vielversprechend (eingeschränkter Kontext, weniger Halluzinationen, Regelklarheit). Beratung bei der Spielstrategie lässt sich vermutlich auch besser mit DRL umsetzen. Die Vision wäre dann vermutlich eine Kombination aus DRL, neuro-symbolischem System und RAG.
Daneben bleibt das Spielen mit LLMs für mich aber trotz – oder gerade wegen – seiner Einschränkungen auch eine spannende Gelegenheit, den Umgang mit KI zu erproben. Und so meine eigenen 4K weiterzuentwickeln.