Citizen Developer + GenAI – ein DreamTeam?

Was bedeuten die schnellen Fortschritte im Bereich der generativen KI für den modernen Arbeitsplatz? Können „Citizen Analysts“, die generative KI nutzen, komplexe Aufgaben fast so effektiv wie erfahrene Experten bewältigen? Wir wollten diese Frage durch ein praktisches Labor-Experiment untersuchen.

In unserer Challenge haben sich Masterstudenten der Digital Sciences ohne vorherige Erfahrung in Prognosetechniken mit generativer KI kooperiert, um Prognosemodelle zu entwickeln. Drei Teams nahmen sich realer Vorhersageprobleme an und arbeiteten jeweils mit einem Zeitbudget von 300 Stunden, um Modelle mithilfe von Gigabytes an Geschäfts- und Wetterdaten zu erstellen und zu trainieren. Randbedingung für die TEams war, dass die KI als die einzige Informationsquelle genutzt wurde. Die Qualität dieser Modelle wurde anschließend mit einem Benchmark verglichen.

Unsere ersten Ergebnisse zeigten, dass das Programmieren der einfachste Teil war: Alle Teams waren in der Lage, Rohdaten zu verarbeiten und funktionierende Prognosemodelle zu erstellen. Allerdings übertraf die Genauigkeit der Vorhersagen nicht wesentlich die von naiven Vorhersagen. Wesentliche Herausforderungen kamen zum Vorschein: Die Teams verbrachten viel Zeit damit zu lernen, „wie man die beste Antwort“ von den KI-Modellen erhält, und hatten mit inkonsistenten KI-Vorschlägen zu „Best Practices“ für Modellierungsansätze zu kämpfen. Sie wurden auch nicht ausreichend vor kritischen Fallstricken gewarnt. Zum Beispiel wurden die Teams nicht auf die entscheidende Auswirkung der Datenqualität hingewiesen, und sie verpassten Gelegenheiten, Komplexität zu vereinfachen, indem sie die Datengranularität an die Vorhersagebedürfnisse anpassten.

Unser Zwischenfazit: Die Studierenden gewannen wertvolle Einblicke in die Fähigkeiten und Grenzen von LLMs in der Prognose, lernten jedoch relativ wenig über den eigentlichen Vorhersageprozess. Generative KI verhielt sich zu passiv – es bedarf mehr Anstrengung, um LLMs dazu zu bringen, den Lernenden zu helfen, die richtigen Fragen zu stellen. Die entscheidende Frage bleibt: Kann ein LLM effektiv geleitet werden, die Rolle eines aufmerksamen und aufmerksamen Tutors einzunehmen, der die Benutzer aktiv durch die komplexen Phasen der Modellentwicklung unterstützt und diese Rolle durchgängig beibehält? Wir planen nun, unser Laborexperiment mit neuen Teams fortzusetzen, die mit diesen Erkenntnissen ausgestattet sind.

Wir möchten der biX Consulting GmbH & Co. KG für ihre Unterstützung bei der Durchführung der Studie danken.