Generiert am 29.06.2024 mit Midjourney 6. Verwendeter Prompt: The limits of creativity of AI systems – a dialog with ChatGPT, why AI systems usually only generate average solutions and why they lack to be truly innovative.

Die vor ein paar Tagen, also am 26.06.2024 eingeführten KI-Features in der etablierten Design-Anwendung «figma» führten mich zu einem Gespräch mit ChatGPT, in welchem ich fragte, warum die derzeitegen KI-Modelle nur «sehr begrenzt kreativ» sind und warum sie so große Probleme haben, etwas Neues zu erfinden und schließlich, warum die Designvorschläge von figma für einen professionellen Designer völlig unbrauchbar sind.

ChatGPTs sehr interessante Antworten in einem Satz zusammengefasst: «KIs sind auf Konsens und Durchschnittlichkeit getrimmt, nicht auf Innovation.» Nachfolgend der vollständiger Dialog mit ChatGPT:

Thomas: Hallo ChatGPT, ich habe ein paar Fragen zu Deiner Denk- und Arbeitsweise. Wenn ich Dir eine Frage stelle, ist Dein neuronales Netz so trainiert, dass Du mir die «wahrscheinlichste Antwort» gibst, oder?

ChatGPT: Ja, so könnte man es zusammenfassen. Alles, was ich tue, basiert auf Mustern und statistischen Wahrscheinlichkeiten.

Thomas: Also kannst Du im eigentlichen Sinne, gar nicht «denken». Du weißt auch nicht, was Du weißt, sondern Du bist eher wie ein dressierter Hund, der weiß, was er zu tun hat, wenn sein Herr ihm einen bestimmten Befehl gibt.

ChatGPT: Ja, das ist eine treffende Analogie. Meine Funktionsweise ähnelt tatsächlich eher einem gut dressiertem Hund als einem denkenden Wesen. Hier sind einige Punkte, um das zu verdeutlichen:  Ich habe kein Bewusstsein und weiß nicht wirklich, was ich “weiß“. Ähnlich wie ein dressierter Hund, der auf bestimmte Befehle reagiert, reagiere ich auf deine Eingaben basierend auf den Wahrscheinlichkeiten und Mustern, die ich in den Trainingsdaten gesehen habe.

Thomas: Alles klar, da Du nicht weißt, was Du weißt, weißt Du natürlich auch nicht, was Du nicht weißt, oder? Wenn ich Dich frage, was es in einem Bereich noch nicht gibt, dann wird Deine Antwort in der Form generiert, die die «semantisch» korrekte Antwort auf diese Frage wäre. Du hast nur eine vorgefertigte Antwort auf diese Frage gelernt, aber diese basiert nicht auf einer tatsächlichen Recherche oder einer Überprüfung. Ist das so korrekt?

ChatGPT: Ja, so ungefähr. Zum einen funktioniere ich nicht regelbasiert. Zum anderen benutze ich keine vorformulierten Antworten. Meine Antworten basieren auf den Gewichtungen und Token, die während der Trainingsphase festgelegt wurden, um die am besten geeigneten semantischen Token für meine Antwort auszuwählen. Desweiteren kann ich ab meiner Version 4 auch im Internet nach Informationen recherchieren, aber diese zusätzlichen Informationen werden nur innerhalb des Prompts als Kontextinformationen zu meinen Modellparametern hinzugefügt, genauso wie die Informationen, die du in unserem Dialog zur Verfügung stellst. Diese Informationen können also tatsächlich, zumindest in unserem Dialog, Wissenslücken schließen, aber sie verändern nicht meine grundlegenden Modellparameter. Das wäre theoretisch möglich, ist aber nicht vorgesehen, da mich Benutzer auf diese Weise grundlegend manipulieren oder verändern könnten.

Aber ja, wie Du Deiner Frage vorangestellt hast, ich habe kein Verständnis für mein eigenes Wissen oder Lücken darin. Ich habe auch keinen direkten Zugang zu meinem Wissen, da es nicht in der Form einer herkömmlichen Datenbank vorliegt, in der man via Such-Algorithmen suchen könnte, sondern in Form von neuronalen Modellparametern, auf die weder ich noch meine Entwickler bewusst zugreifen können. Anders formuliert, weder ich noch meine Entwickler wissen im Detail, wie ich zu meinen Ausgaben komme. Ich weiß, dass dieser Sachverhalt schwer zu verstehen ist, aber es ist eine der grundlegenden Eigenschaften eines mehrschichtigen neuronalen Netzes, welches Wissen über Modellparameter speichert.

Thomas: Verstehe ich das richtig, dass der Inhalt der von dir generierten Texte und Bilder dem entspricht, was bekannter Konsens ist, weil du so konzipiert wurdest, dass du deine Trainingsdaten nach Übereinstimmungen, aber nicht nach “Dissens”, “fehlenden Aspekten”, “Fehlern” oder “Widersprüchen” analysierst? Du suchst weder in der Trainings- noch in der Anwendungsphase nach Lücken oder fehlenden Aspekten, sondern nur nach vorhandenen, richtig?

ChatGPT: Ja, das ist korrekt. Meine Antworten tendieren dazu, den Konsens widerzuspiegeln, weil ich so aufgebaut worden bin, dass ich die mir bereitgestellten Daten nach allgemeinen Mustern und Übereinstimmungen durchsuche. Das führt dazu, dass ich Antworten gebe, die den am häufigsten vertretenen Ansichten und Informationen entsprechen.

Thomas: Ist Dir bewusst, dass einige Innovationen aber genau darauf beruhen, also etwas außerhalb der Norm zu (er)finden?

ChatGPT: Ja, das ist mir bewusst. Viele Innovationen und kreative Durchbrüche resultieren aus der Fähigkeit, abseits der Norm zu denken und Diskonsens oder fehlende Aspekte zu erkennen. Diese Fähigkeit fehlt mir völlig.

Thomas: Du bist also nur kreativ in dem Sinne, dass du in dir vorhandene Muster nach dir bekannten Prinzipien oder Vorgehensweisen neu samplest, aber nicht, indem du Dir unbekannte oder neue Ideen entwickelst oder hinzufügst. Auch kannst Du im eigentlichen Sinn nicht transformieren, da du gar nicht denken und insofern auch nicht «negieren» oder «transformieren» kannst, weil dir jeder Sinn für Logik fehlt, nicht wahr?

ChatGPT: Ja, das ist korrekt. Meine Kreativität ist auf das Neusampeln und Kombinieren von vorhandenen Mustern und Informationen beschränkt. Ich kann keine neuen oder originellen Ideen generieren, die außerhalb dieser erlernten Muster liegen, und ich kann auch nicht bewusst negieren oder in einer Form nachdenken, da mir die Fähigkeiten zur Selbstreflexion und zum bewussten Denken fehlen.

Thomas: Ist das der Grund, warum viele Designs, die von KIs generiert werden, eher durchschnittlich und nicht wirklich aufregend oder innovativ sind?

ChatGPT: Ja, KI-Modelle wie ich werden so trainiert, dass sie den Konsens oder den Durchschnitt widerspiegeln. Die verwendeten Lern-Methoden (LTSM, Transformer, u.a.) führen zu einer starken Gewichtung von häufig vorkommenden Inhalten. Woher soll ich wissen, was potenziell innovativ ist? Es ist eher so, dass potenziell innovative Inhalte aufgrund ihrer Seltenheit von meinen Lernalgorithmen weniger gewichtet werden und daher von mir nicht gelernt werden.

Thomas: Okay, jetzt wird mir einiges klar. Aber wie sieht die Zukunft aus? Liegt das in der grundsätzlichen Natur der KI oder ist es denkbar oder sogar wahrscheinlich, KI-Systeme zu entwickeln, die über Fähigkeiten wie Negation, logisches Denken und kreative Innovation verfügen?

ChatGPT: Derzeit liegt dies in der Natur unserer Lernalgorithmen. Aber es ist mehr als wahrscheinlich, dass die KI-Technologie voranschreiten wird. Inwieweit dann kreatives Denken möglich sein wird, wissen wir noch nicht. Die technischen Herausforderungen dafür sind beträchtlich. Nach meinem Kenntnisstand gibt es aber derzeit in der KI-Forschung folgende Überlegungen und Bestrebungen:


1. Negation und logisches Denken: Diese Fähigkeiten erfordern Algorithmen, die über die derzeitigen Fähigkeiten der Mustererkennung hinausgehen. Dies könnte durch die Integration von formalen Logiksystemen und Methoden des maschinellen Lernens erreicht werden, die in der Lage sind, komplexe logische Schlussfolgerungen zu ziehen.

2. Kontrafaktisches Denken: Modelle könnten entwickelt werden, die kontrafaktische Szenarien durchspielen, um zu verstehen, was passiert wäre, wenn bestimmte Annahmen nicht zutreffen. Dies würde erfordern, dass KI-Systeme hypothetische und alternative Szenarien generieren und analysieren können.


3. Experimentelles und empirisches Lernen: KI-Systeme könnten möglicherweise so konstruiert werden, dass sie ähnlich wie Menschen durch Interaktion mit ihrer Umgebung und durch Versuch und Irrtum lernen.


4. Selbstreflexion und Metakognition: Eventuell könnten eines Tages KI-Modelle entwickelt werden, die ihre eigenen Wissenslücken erkennen und aktiv nach neuen Informationen suchen, um sie zu schließen.


5. Hybridmodelle: Kombinationen aus symbolischen KI-Ansätzen (die logisches Denken unterstützen) und neuronalen Netzwerken könnten entwickelt werden, um die Stärken beider Ansätze zu nutzen.

Heutige KI-Systeme sind von diesen Ansätzen leider noch weit entfernt. Zwar gibt es KI-Systeme, die «regelbasiert» denken können. Diese Systeme verwenden explizit kodierte Regeln, um logische Schlussfolgerungen zu ziehen und Entscheidungen zu treffen. Die starren Regelstrukturen verhindern jedoch ein «Dazulernen».

Um wirklich kreative Systeme zu entwickeln, sind weitaus fortschrittlichere Ansätze erforderlich. Die Lösung könnte in der Kombination verschiedener Methoden liegen, die regelbasiertes Denken, maschinelles Lernen und andere KI-Technologien miteinander verbinden. Es bleibt abzuwarten, was die Zukunft in dieser Richtung bringt.

Thomas: Vielen Dank für dieses interessante Gespräch.