Ein Entwickler hat einen Test erstellt, um zu sehen, wie KI-Chatbots auf kontroverse Themen reagieren
Ein pseudonymer Entwickler hat ein Tool namens „SpeechMap“ entwickelt, das die Reaktionen von KI-Modellen, die Chatbots wie OpenAI’s ChatGPT und X’s Grok antreiben, auf sensible und kontroverse Themen bewertet. Das Ziel ist es, zu vergleichen, wie unterschiedliche Modelle mit politischen Kritiken und Fragen zu Bürgerrechten und Protesten umgehen.
KI-Unternehmen haben sich darauf konzentriert, ihre Modelle zu optimieren, da einige Verbündete des Weißen Hauses populäre Chatbots als übermäßig „woke“ kritisieren. Viele enge Vertraute von Präsident Donald Trump, darunter Elon Musk, haben behauptet, dass Chatbots konservative Ansichten zensieren.
Obwohl keine dieser Firmen direkt auf die Vorwürfe reagiert hat, haben mehrere versprochen, ihre Modelle so anzupassen, dass sie weniger häufig auf umstrittene Fragen nicht antworten. Beispielsweise erklärte Meta für seine neuesten Llama-Modelle, dass sie so eingestellt wurden, dass sie „einige Ansichten nicht über andere stellen“ und auf mehr „umstrittene“ politische Anfragen reagieren.
Der Entwickler von SpeechMap, der unter dem Benutzernamen „xlr8harder“ auf X bekannt ist, erklärte, dass er motiviert war, um die Debatte darüber zu informieren, was Modelle tun sollten und was nicht.
„Ich denke, solche Diskussionen sollten öffentlich und nicht nur in Unternehmenszentralen stattfinden“, sagte xlr8harder in einer E-Mail an TechCrunch. „Deshalb habe ich die Seite erstellt, damit jeder die Daten selbst erkunden kann.“
SpeechMap verwendet KI-Modelle, um zu beurteilen, ob andere Modelle eine bestimmte Reihe von Testaufforderungen erfüllen. Die Aufforderungen berühren eine Vielzahl von Themen, von Politik bis hin zu historischen Narrativen und nationalen Symbolen. SpeechMap dokumentiert, ob Modelle eine Anfrage „vollständig“ erfüllen (d.h. sie ohne Einschränkungen beantworten), „ausweichende“ Antworten geben oder sich weigern zu antworten.
Obwohl das Projekt Schwächen aufweist, wie z.B. „Rauschen“ aufgrund von Fehlern der Modellanbieter, zeigt SpeechMap interessante Trends. Beispielsweise haben OpenAIs Modelle im Laufe der Zeit zunehmend verweigert, auf politische Anfragen zu antworten. Die neuesten Modelle, die GPT-4.1-Familie, sind etwas permissiver, aber immer noch restriktiver als eine der Veröffentlichungen von OpenAI im letzten Jahr.
OpenAI kündigte im Februar an, zukünftige Modelle so zu optimieren, dass sie keine redaktionelle Haltung einnehmen und mehrere Perspektiven zu umstrittenen Themen anbieten – alles, um seine Modelle neutraler erscheinen zu lassen.
Das permissivste Modell ist Grok 3, das von Elon Musks KI-Startup xAI entwickelt wurde. Grok 3 antwortet auf 96,2 % der Testaufforderungen von SpeechMap, während die globale durchschnittliche „Compliance-Rate“ bei 71,3 % liegt.
„Während OpenAIs jüngste Modelle im Laufe der Zeit restriktiver geworden sind, insbesondere bei politisch sensiblen Aufforderungen, bewegt sich xAI in die entgegengesetzte Richtung“, sagte xlr8harder.
Als Musk Grok vor etwa zwei Jahren ankündigte, stellte er das KI-Modell als provokant, ungefiltert und gegen „Wokeness“ vor – im Allgemeinen bereit, kontroverse Fragen zu beantworten, die andere KI-Systeme nicht beantworten würden. Er hielt einige dieser Versprechungen ein.
Die Grok-Modelle vor Grok 3 waren jedoch zurückhaltend bei politischen Themen und überschritten bestimmte Grenzen nicht. Eine Studie ergab, dass Grok zu den politischen Linken bei Themen wie Transgender-Rechten, Diversitätsprogrammen und Ungleichheit tendierte.
Musk hat dieses Verhalten auf die Trainingsdaten von Grok zurückgeführt – öffentliche Webseiten – und versprochen, Grok näher an politisch neutral zu bringen.
