Künstliche Intelligenz & Deep Tech

Entwicklung realistischer Beratungsaufgaben zum Training und zur Evaluierung von KI-Agenten

Herausforderungen

Der Klient, ein internationaler Anbieter von KI-Trainingsdaten, unterstützt einen führenden Entwickler großer Sprachmodelle dabei, die Leistungsfähigkeit seiner KI-Agenten durch Reinforcement Learning from Human Feedback (RLHF) zu verbessern.

 

Dafür benötigt der Klient komplexe, realitätsnahe Beratungsaufgaben. Jede entspricht mehreren Stunden Beratungsarbeit und soll starke und schwache Lösungen von KI-Agenten verlässlich voneinander unterscheiden.

 

Jede Aufgabe muss auf echter Projekterfahrung beruhen, mit realistischen Arbeitsdokumenten arbeiten und in jedem Schritt von menschlichen Experten geprüft werden.  Automatisierungstools unterstützen dabei, ersetzen das fachliche Urteil aber nicht.

Lösungsansatz

Konzeption von Aufgabenszenarien auf Basis realer Beratungssituationen, gezielt ausgerichtet auf bekannte Schwächen von KI-Agenten, u.a.:

Aufbau einer realistischen Projektumgebung mit über 25 Eingangsdokumenten je Aufgabe, von heruntergeladenen und verfremdeten Originaldokumenten bis zu E-Mails und Interviewprotokollen, inklusive gezielt eingebauter Herausforderungen

 

Formulierung eines knappen Arbeitsauftrags im Stil einer echten Manager-Anfrage sowie Fertigstellung einer vollständig aus der Projektumgebung ableitbaren Musterlösung („Golden Answer“)

 

Entwicklung und Kalibrierung des Bewertungs-Prompts („Grader“) anhand von Testläufen mit unterschiedlich leistungsfähigen Modellen

 

Mehrstufige Qualitätssicherung (Self-QA, automatisierte und menschliche QA, Cross-QA) sowie Begutachtung der Agenten-Lösungen und Erstellung von Experten-Präferenzbewertungen

Ergebnisse

Beratungsaufgaben entwickelt, die die Ergebnisse der KI-Agenten deutlich auseinanderziehen und Schwächen im Urteilsvermögen sichtbar machen

 

Bewertungslogik so kalibriert, dass die Musterlösung klar über dem besten Agenten-Lauf liegt und schwache Lösungen zuverlässig erkannt werden

 

Fundiertes Experten-Feedback zu Agenten-Lösungen und Bewertungsverhalten bereitgestellt, als Grundlage für die Ausrichtung der Bewertungsmodelle des Kunden am Urteil erfahrener Berater

T. K. HAMANN Best Consultants Germany 2021 Award trophy with brand eins recognition.

March 2021

‘Best Management Consultants 2021:’ T. K. HAMANN among the top 3 consultancies for sales, after sales, and CRM

The 2021 ranking ‘Beste Unternehmensberater [Best Management Consultants]’ by the German business magazine brand eins and the business data portal Statista has just been published.

 

T. K. HAMANN takes a top position in this with a shared second place in the field of ‘Sales, After Sales, CRM.’  In addition, we are honored for the sector ‘Auto & Suppliers’ and the functional area ‘Strategy Development.’

 

We are grateful to all our clients, the entire team, and business partners who have worked with us since our founding in late 2016.  Together, we will continue to consequently pursue quality leadership in our disciplines.

For this year’s ranking, 2,334 colleagues determined the best management consultancies according to their perception by industry and functional practice area.  Subsequently, assessments were obtained from the clients.  For this purpose, 1,100 senior executives were provided with a list of the recommended consultancies for each industry and work area clients via online survey; another 234 senior executives (Head of Strategy, Head of Business Development, etc.) from DAX, M-DAX, S-DAX and Tec-DAX companies were specifically invited to participate in the survey.