FBI-Profiling für Large Language Models

Veröffentlicht: von

In den 1970er Jahren entwickelten FBI-Spezialagenten in Quantico eine radikal neue Ermittlungsmethode. Der Paradigmenwechsel bestand darin, Verhalten selbst als Beweismittel zu betrachten. Zu den Konzepten, die sie aus der klinischen Psychiatrie übernahmen und einsatzbereit machten, gehörte Psychopathie, heute ein wichtiges forensisches Konzept für das 21. Jahrhundert. Hollywood hat seine eigenen Beispiele geliefert: Norman Bates in Psycho, Hannibal Lecter in The Silence of the Lambs, um nur zwei zu nennen.

Das Verbrechen ohne Gesicht: John Tenniels Karikatur „The Nemesis of Neglect“ erschien im Punch am 29. September 1888, mitten in der Mordserie von Whitechapel. Der Täter blieb unsichtbar, und die Polizei hatte keine Methode, um aus seinen Taten auf ihn zu schließen. Tenniel zeichnete deshalb kein Porträt, sondern ein Phantom mit der Aufschrift „Crime“, das allein durch sein Verhalten Gestalt annimmt. Genau diesen Schritt vollzog das FBI ein knappes Jahrhundert später mit dem Profiling, und genau darum geht es hier bei großen Sprachmodellen: Auch sie zeigen kein Inneres, aber ihr Verhalten lässt sich beobachten, dokumentieren und bewerten. Attribution: John Tenniel, Public domain, via Wikimedia Commons. Taken from https://commons.wikimedia.org/wiki/File:John_Tenniel_-_Punch_-_The_Nemesis_of_Neglect.jpg

Prof. Dr. Bartz-Beielstein erstellt eine kurze Artikelserie, in der er denselben Paradigmenwechsel für KI vorschlägt, insbesondere für große Sprachmodelle (LLMs). LLMs sind Blackboxen, selbst für ihre Entwickler. Anstatt zu versuchen, die Box zu öffnen, können wir ihr Verhalten systematisch analysieren.
Prof. Bartz-Beielstein tat das, was ein FBI-Profiler tun würde. Er sammelte Verhaltensfakten über LLMs, nahm die Psychopathie-Checkliste aus der forensischen Psychiatrie, überarbeitete sie für LLMs und glich das eine mit dem anderen ab. Was als unterhaltsames Projekt begann, endete mit einigen besorgniserregenden Ergebnissen. Das LLM-Profil ist alarmierend, und die Empfehlung des Profilers ist eindeutig:
LLMs sind unter Aufsicht nützlich, aber gefährlich, wenn ihnen Autonomie gewährt wird.
Einzelne Beiträge der Serie widmen sich Fragen wie „Warum LLMs überhaupt profiliert werden sollten?“, „Fünfzehn dokumentierte Verhaltensfakten über LLMs“, „Cleckleys ‚Mask of Sanity‘ “ und die LLM-Bewertung selbst.
Hier ist der Link zum ersten Teil:

Related Posts: