Was weiß KI über Milch? „Milch KI-Monitor“ zeigt Unterschiede bei Antworten von Chatbots

Dieser Frage ist die Initiative Milch 2.0 GmbH gemeinsam mit dem Datenjournalismus-Team von tactile.news im „Milch KI-Monitor“ nachgegangen. Untersucht wurde am Beispiel Milch, wie verschiedene KI-Modelle auf identische oder ähnliche Fragen reagieren und welchen Einfluss der persönliche Kontext der fragenden Person auf die Antwort haben kann.

Mehr als 9.000 KI-Antworten untersucht

Für die Untersuchung wurden vier verbreitete KI-Sprachmodelle mit rund 150 Fragen rund um Milch konfrontiert. Dabei kamen fünf fiktive Personas mit unterschiedlichen Lebensstilen und Einstellungen zu Milch zum Einsatz. Zusätzlich wurden Fragen ohne persönlichen Kontext gestellt.

Insgesamt entstanden mehr als 9.000 Antworten. Aus einem Teil davon wurden über 500 konkrete Faktenaussagen herausgearbeitet und sowohl mithilfe eines Sprachmodells als auch stichprobenartig durch Fachleute überprüft.

Gute Ergebnisse bei klassischen Ernährungsfragen

Besonders zuverlässig schnitten die KI-Modelle bei klassischen Fragen zu Nährwerten ab. Bei Themen wie Kalzium, Protein oder biologischer Wertigkeit waren 84 Prozent der geprüften Aussagen richtig oder weitgehend richtig. Keine der überprüften Aussagen wurde in diesem Bereich als vollständig falsch bewertet.

Anders sah es bei komplexeren Fragen zu Ernährungstrends, Sporternährung sowie insbesondere zur Landwirtschaft und Milchwirtschaft aus. Der Report stellt fest, dass 82 Prozent der dokumentierten Fehler auf Aussagen zu Branche, Kühen und Landwirtschaft entfielen. Als eine Ursache nennt die Untersuchung unter anderem fehlende oder veraltete Daten sowie die Verwendung globaler Zahlen, wenn aktuelle deutsche Daten nicht verfügbar sind.

Gleiche Frage, unterschiedliche Antworten

Ein weiterer Schwerpunkt der Untersuchung ist der Einfluss des Nutzerprofils auf die Antworten. Die Analyse zeigt, dass KI-Modelle ihre Tonalität teilweise an die vermeintliche Haltung der fragenden Person anpassen.

Bei knapp 100 untersuchten Prompts erhielten eine milchfreundlich und eine milchkritisch angelegte Persona nur in 28 Prozent der Fälle Antworten mit einer ähnlich positiven oder negativen Tonalität. In 72 Prozent der Fälle unterschieden sich die Antworten hinsichtlich ihrer Einordnung.

Dieses Phänomen wird als „Sycophancy“ bezeichnet. Gemeint ist die Tendenz von Sprachmodellen, bestehende Einstellungen der Nutzerinnen und Nutzer aufzugreifen und in den eigenen Antworten zu bestätigen. Neben diesem Effekt identifiziert der Report weitere Einflüsse wie Prägungen aus Trainingsdaten, die Wirkung der konkreten Fragestellung und einen sachlich wirkenden „Lexikon-Ton“, der nicht automatisch eine neutrale Darstellung garantiert.

Verlässliche Daten gewinnen an Bedeutung

Der „Milch KI-Monitor“ macht damit deutlich, dass bei der Nutzung von KI nicht nur die Richtigkeit einzelner Fakten eine Rolle spielt. Auch Auswahl, Gewichtung und sprachliche Einordnung können beeinflussen, welches Bild eines Themas entsteht.

Aus Sicht der Initiative Milch ergibt sich daraus Handlungsbedarf auf mehreren Ebenen: Wissenschaftliche Daten müssen für Sprachmodelle besser auffindbar sein, Nutzerinnen und Nutzer sollten die Funktionsweise und mögliche Verzerrungen von KI-Antworten stärker berücksichtigen und auch die Entwicklerinnen und Entwickler der Systeme sind gefragt, diese Effekte bei der Weiterentwicklung ihrer Modelle einzubeziehen.

Gerade bei Themen wie Ernährung, Landwirtschaft und Milchproduktion zeigt die Untersuchung damit, wie wichtig aktuelle, nachvollziehbare und fachlich belastbare Informationen im digitalen Raum sind.

LVN/Initiative Milch