Was bedeuten die schnellen Fortschritte im Bereich der generativen KI f\u00fcr den modernen Arbeitsplatz? K\u00f6nnen „Citizen Analysts“, die generative KI nutzen, komplexe Aufgaben fast so effektiv wie erfahrene Experten bew\u00e4ltigen? Wir wollten diese Frage durch ein praktisches Labor-Experiment untersuchen.<\/p>\n
In unserer Challenge haben sich Masterstudenten der Digital Sciences ohne vorherige Erfahrung in Prognosetechniken mit generativer KI kooperiert, um Prognosemodelle zu entwickeln. Drei Teams nahmen sich realer Vorhersageprobleme an und arbeiteten jeweils mit einem Zeitbudget von 300 Stunden, um Modelle mithilfe von Gigabytes an Gesch\u00e4fts- und Wetterdaten zu erstellen und zu trainieren. Randbedingung f\u00fcr die TEams war, dass die KI als die einzige Informationsquelle genutzt wurde. Die Qualit\u00e4t dieser Modelle wurde anschlie\u00dfend mit einem Benchmark verglichen.<\/p>\n
Unsere ersten Ergebnisse zeigten, dass das Programmieren der einfachste Teil war: Alle Teams waren in der Lage, Rohdaten zu verarbeiten und funktionierende Prognosemodelle zu erstellen. Allerdings \u00fcbertraf die Genauigkeit der Vorhersagen nicht wesentlich die von naiven Vorhersagen. Wesentliche Herausforderungen kamen zum Vorschein: Die Teams verbrachten viel Zeit damit zu lernen, \u201ewie man die beste Antwort\u201c von den KI-Modellen erh\u00e4lt, und hatten mit inkonsistenten KI-Vorschl\u00e4gen zu \u201eBest Practices\u201c f\u00fcr Modellierungsans\u00e4tze zu k\u00e4mpfen. Sie wurden auch nicht ausreichend vor kritischen Fallstricken gewarnt. Zum Beispiel wurden die Teams nicht auf die entscheidende Auswirkung der Datenqualit\u00e4t hingewiesen, und sie verpassten Gelegenheiten, Komplexit\u00e4t zu vereinfachen, indem sie die Datengranularit\u00e4t an die Vorhersagebed\u00fcrfnisse anpassten.<\/p>\n
Unser Zwischenfazit: Die Studierenden gewannen wertvolle Einblicke in die F\u00e4higkeiten und Grenzen von LLMs in der Prognose, lernten jedoch relativ wenig \u00fcber den eigentlichen Vorhersageprozess. Generative KI verhielt sich zu passiv \u2013 es bedarf mehr Anstrengung, um LLMs dazu zu bringen, den Lernenden zu helfen, die richtigen Fragen zu stellen. Die entscheidende Frage bleibt: Kann ein LLM effektiv geleitet werden, die Rolle eines aufmerksamen und aufmerksamen Tutors einzunehmen, der die Benutzer aktiv durch die komplexen Phasen der Modellentwicklung unterst\u00fctzt und diese Rolle durchg\u00e4ngig beibeh\u00e4lt? Wir planen nun, unser Laborexperiment mit neuen Teams fortzusetzen, die mit diesen Erkenntnissen ausgestattet sind.<\/p>\n
Wir m\u00f6chten der biX Consulting GmbH & Co. KG f\u00fcr ihre Unterst\u00fctzung bei der Durchf\u00fchrung der Studie danken.<\/p>\n","protected":false},"excerpt":{"rendered":"
Was bedeuten die schnellen Fortschritte im Bereich der generativen KI f\u00fcr den modernen Arbeitsplatz? K\u00f6nnen „Citizen Analysts“, die generative KI nutzen, komplexe Aufgaben fast so effektiv wie erfahrene Experten bew\u00e4ltigen? Wir wollten diese Frage durch ein praktisches Labor-Experiment untersuchen.<\/p>\n","protected":false},"author":27,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[76],"tags":[26400,26396],"class_list":["post-2091","post","type-post","status-publish","format-standard","hentry","category-forschung","tag-ki","tag-machine-learning"],"acf":[],"_links":{"self":[{"href":"https:\/\/blogs.gm.fh-koeln.de\/westenberger\/wp-json\/wp\/v2\/posts\/2091","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blogs.gm.fh-koeln.de\/westenberger\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogs.gm.fh-koeln.de\/westenberger\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogs.gm.fh-koeln.de\/westenberger\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/blogs.gm.fh-koeln.de\/westenberger\/wp-json\/wp\/v2\/comments?post=2091"}],"version-history":[{"count":2,"href":"https:\/\/blogs.gm.fh-koeln.de\/westenberger\/wp-json\/wp\/v2\/posts\/2091\/revisions"}],"predecessor-version":[{"id":2094,"href":"https:\/\/blogs.gm.fh-koeln.de\/westenberger\/wp-json\/wp\/v2\/posts\/2091\/revisions\/2094"}],"wp:attachment":[{"href":"https:\/\/blogs.gm.fh-koeln.de\/westenberger\/wp-json\/wp\/v2\/media?parent=2091"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogs.gm.fh-koeln.de\/westenberger\/wp-json\/wp\/v2\/categories?post=2091"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogs.gm.fh-koeln.de\/westenberger\/wp-json\/wp\/v2\/tags?post=2091"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}