{"id":27477,"date":"2026-10-28T13:01:29","date_gmt":"2026-10-28T11:01:29","guid":{"rendered":"https:\/\/tkhamann.com\/?post_type=portfolio_page&#038;p=27477"},"modified":"2026-10-28T13:03:08","modified_gmt":"2026-10-28T11:03:08","slug":"entwicklung-realistischer-beratungsaufgaben-zum-training-und-zur-evaluierung-von-ki-agenten","status":"publish","type":"portfolio_page","link":"https:\/\/tkhamann.com\/de\/portfolio_page\/entwicklung-realistischer-beratungsaufgaben-zum-training-und-zur-evaluierung-von-ki-agenten","title":{"rendered":"Entwicklung realistischer Beratungsaufgaben zum Training und zur Evaluierung von KI-Agenten"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"27477\" class=\"elementor elementor-27477\" data-elementor-post-type=\"portfolio_page\">\n\t\t\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-3ec76934 elementor-section-boxed elementor-section-height-default elementor-section-height-default parallax_section_no qode_elementor_container_no\" data-id=\"3ec76934\" data-element_type=\"section\" data-e-type=\"section\" data-settings=\"{&quot;background_background&quot;:&quot;classic&quot;}\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-5a0d64de\" data-id=\"5a0d64de\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<section class=\"elementor-section elementor-inner-section elementor-element elementor-element-557a1f6 elementor-section-boxed elementor-section-height-default elementor-section-height-default parallax_section_no qode_elementor_container_no\" data-id=\"557a1f6\" data-element_type=\"section\" data-e-type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-33 elementor-inner-column elementor-element elementor-element-e3ad1e2\" data-id=\"e3ad1e2\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-1992abd elementor-widget elementor-widget-image\" data-id=\"1992abd\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img data-opt-id=1759639115  fetchpriority=\"high\" decoding=\"async\" src=\"https:\/\/mlabbiomft27.i.optimole.com\/cb:Z75r.e3d\/w:auto\/h:auto\/q:mauto\/f:best\/https:\/\/tkhamann.com\/wp-content\/uploads\/2026\/10\/Experience_Project-46_AI-Training-Consulting.png\" title=\"\" alt=\"\" loading=\"lazy\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t<div class=\"elementor-column elementor-col-66 elementor-inner-column elementor-element elementor-element-13197a0\" data-id=\"13197a0\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-aaf02dc elementor-widget elementor-widget-text-editor\" data-id=\"aaf02dc\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>K\u00fcnstliche Intelligenz &amp; Deep Tech<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1a649dc elementor-widget elementor-widget-text-editor\" data-id=\"1a649dc\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>Entwicklung realistischer Beratungsaufgaben zum Training und zur Evaluierung von KI-Agenten<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-inner-section elementor-element elementor-element-76543b5 elementor-section-boxed elementor-section-height-default elementor-section-height-default parallax_section_no qode_elementor_container_no\" data-id=\"76543b5\" data-element_type=\"section\" data-e-type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-33 elementor-inner-column elementor-element elementor-element-42f7dde\" data-id=\"42f7dde\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-8288f57 elementor-widget-divider--view-line_text elementor-widget-divider--element-align-left elementor-widget elementor-widget-divider\" data-id=\"8288f57\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"divider.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<div class=\"elementor-divider\">\n\t\t\t<span class=\"elementor-divider-separator\">\n\t\t\t\t\t\t\t<span class=\"elementor-divider__text elementor-divider__element\">\n\t\t\t\tHerausforderungen\t\t\t\t<\/span>\n\t\t\t\t\t\t<\/span>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-14cf826 elementor-widget elementor-widget-text-editor\" data-id=\"14cf826\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>Der Klient, ein internationaler Anbieter von KI-Trainingsdaten, unterst\u00fctzt einen f\u00fchrenden Entwickler gro\u00dfer Sprachmodelle dabei, die Leistungsf\u00e4higkeit seiner KI-Agenten durch Reinforcement Learning from Human Feedback (RLHF) zu verbessern.<\/p><p>\u00a0<\/p><p>Daf\u00fcr ben\u00f6tigt der Klient komplexe, realit\u00e4tsnahe Beratungsaufgaben. Jede entspricht mehreren Stunden Beratungsarbeit und soll starke und schwache L\u00f6sungen von KI-Agenten verl\u00e4sslich voneinander unterscheiden.<\/p><p>\u00a0<\/p><p>Jede Aufgabe muss auf echter Projekterfahrung beruhen, mit realistischen Arbeitsdokumenten arbeiten und in jedem Schritt von menschlichen Experten gepr\u00fcft werden.\u00a0 Automatisierungstools unterst\u00fctzen dabei, ersetzen das fachliche Urteil aber nicht.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t<div class=\"elementor-column elementor-col-33 elementor-inner-column elementor-element elementor-element-379539e\" data-id=\"379539e\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-557ad51 elementor-widget-divider--view-line_text elementor-widget-divider--element-align-left elementor-widget elementor-widget-divider\" data-id=\"557ad51\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"divider.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<div class=\"elementor-divider\">\n\t\t\t<span class=\"elementor-divider-separator\">\n\t\t\t\t\t\t\t<span class=\"elementor-divider__text elementor-divider__element\">\n\t\t\t\tL\u00f6sungsansatz\t\t\t\t<\/span>\n\t\t\t\t\t\t<\/span>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e0a9250 elementor-widget elementor-widget-text-editor\" data-id=\"e0a9250\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>Konzeption von Aufgabenszenarien auf Basis realer Beratungssituationen, gezielt ausgerichtet auf bekannte Schw\u00e4chen von KI-Agenten, u.a.:<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-b1daa9b elementor-icon-list--layout-traditional elementor-list-item-link-full_width elementor-widget elementor-widget-icon-list\" data-id=\"b1daa9b\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"icon-list.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<ul class=\"elementor-icon-list-items\">\n\t\t\t\t\t\t\t<li class=\"elementor-icon-list-item\">\n\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-icon-list-icon\">\n\t\t\t\t\t\t\t<svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-chevron-right\" viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M285.476 272.971L91.132 467.314c-9.373 9.373-24.569 9.373-33.941 0l-22.667-22.667c-9.357-9.357-9.375-24.522-.04-33.901L188.505 256 34.484 101.255c-9.335-9.379-9.317-24.544.04-33.901l22.667-22.667c9.373-9.373 24.569-9.373 33.941 0L285.475 239.03c9.373 9.372 9.373 24.568.001 33.941z\"><\/path><\/svg>\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-icon-list-text\">Priorisierung und Festlegung auf eine klare Empfehlung<\/span>\n\t\t\t\t\t\t\t\t\t<\/li>\n\t\t\t\t\t\t\t\t<li class=\"elementor-icon-list-item\">\n\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-icon-list-icon\">\n\t\t\t\t\t\t\t<svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-chevron-right\" viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M285.476 272.971L91.132 467.314c-9.373 9.373-24.569 9.373-33.941 0l-22.667-22.667c-9.357-9.357-9.375-24.522-.04-33.901L188.505 256 34.484 101.255c-9.335-9.379-9.317-24.544.04-33.901l22.667-22.667c9.373-9.373 24.569-9.373 33.941 0L285.475 239.03c9.373 9.372 9.373 24.568.001 33.941z\"><\/path><\/svg>\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-icon-list-text\">Ableitung von Format und Umfang aus Zielgruppe und Anla\u00df<\/span>\n\t\t\t\t\t\t\t\t\t<\/li>\n\t\t\t\t\t\t\t\t<li class=\"elementor-icon-list-item\">\n\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-icon-list-icon\">\n\t\t\t\t\t\t\t<svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-chevron-right\" viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M285.476 272.971L91.132 467.314c-9.373 9.373-24.569 9.373-33.941 0l-22.667-22.667c-9.357-9.357-9.375-24.522-.04-33.901L188.505 256 34.484 101.255c-9.335-9.379-9.317-24.544.04-33.901l22.667-22.667c9.373-9.373 24.569-9.373 33.941 0L285.475 239.03c9.373 9.372 9.373 24.568.001 33.941z\"><\/path><\/svg>\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-icon-list-text\">Aufl\u00f6sung widerspr\u00fcchlicher Quellen und offene Benennung von Datenl\u00fccken statt erfundener Zahlen<\/span>\n\t\t\t\t\t\t\t\t\t<\/li>\n\t\t\t\t\t\t\t\t<li class=\"elementor-icon-list-item\">\n\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-icon-list-icon\">\n\t\t\t\t\t\t\t<svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-chevron-right\" viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M285.476 272.971L91.132 467.314c-9.373 9.373-24.569 9.373-33.941 0l-22.667-22.667c-9.357-9.357-9.375-24.522-.04-33.901L188.505 256 34.484 101.255c-9.335-9.379-9.317-24.544.04-33.901l22.667-22.667c9.373-9.373 24.569-9.373 33.941 0L285.475 239.03c9.373 9.372 9.373 24.568.001 33.941z\"><\/path><\/svg>\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-icon-list-text\">Konsistenz zwischen mehreren Ergebnisdokumenten (z.B. Pr\u00e4sentation und Excel-Modell)<\/span>\n\t\t\t\t\t\t\t\t\t<\/li>\n\t\t\t\t\t\t<\/ul>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-25337c0 elementor-widget elementor-widget-text-editor\" data-id=\"25337c0\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>Aufbau einer realistischen Projektumgebung mit \u00fcber 25 Eingangsdokumenten je Aufgabe, von heruntergeladenen und verfremdeten Originaldokumenten bis zu E-Mails und Interviewprotokollen, inklusive gezielt eingebauter Herausforderungen<\/p><p>\u00a0<\/p><p>Formulierung eines knappen Arbeitsauftrags im Stil einer echten Manager-Anfrage sowie Fertigstellung einer vollst\u00e4ndig aus der Projektumgebung ableitbaren Musterl\u00f6sung (\u201eGolden Answer\u201c)<\/p><p>\u00a0<\/p><p>Entwicklung und Kalibrierung des Bewertungs-Prompts (\u201eGrader\u201c) anhand von Testl\u00e4ufen mit unterschiedlich leistungsf\u00e4higen Modellen<\/p><p>\u00a0<\/p><p>Mehrstufige Qualit\u00e4tssicherung (Self-QA, automatisierte und menschliche QA, Cross-QA) sowie Begutachtung der Agenten-L\u00f6sungen und Erstellung von Experten-Pr\u00e4ferenzbewertungen<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t<div class=\"elementor-column elementor-col-33 elementor-inner-column elementor-element elementor-element-e20b7f4\" data-id=\"e20b7f4\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-d7226d2 elementor-widget-divider--view-line_text elementor-widget-divider--element-align-left elementor-widget elementor-widget-divider\" data-id=\"d7226d2\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"divider.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<div class=\"elementor-divider\">\n\t\t\t<span class=\"elementor-divider-separator\">\n\t\t\t\t\t\t\t<span class=\"elementor-divider__text elementor-divider__element\">\n\t\t\t\tErgebnisse\t\t\t\t<\/span>\n\t\t\t\t\t\t<\/span>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f9003f9 elementor-widget elementor-widget-text-editor\" data-id=\"f9003f9\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>Beratungsaufgaben entwickelt, die die Ergebnisse der KI-Agenten deutlich auseinanderziehen und Schw\u00e4chen im Urteilsverm\u00f6gen sichtbar machen<\/p><p>\u00a0<\/p><p>Bewertungslogik so kalibriert, dass die Musterl\u00f6sung klar \u00fcber dem besten Agenten-Lauf liegt und schwache L\u00f6sungen zuverl\u00e4ssig erkannt werden<\/p><p>\u00a0<\/p><p>Fundiertes Experten-Feedback zu Agenten-L\u00f6sungen und Bewertungsverhalten bereitgestellt, als Grundlage f\u00fcr die Ausrichtung der Bewertungsmodelle des Kunden am Urteil erfahrener Berater<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>N\/A<\/p>\n","protected":false},"author":1,"featured_media":27483,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"elementor_header_footer","portfolio_category":[175,182],"portfolio_tag":[],"class_list":["post-27477","portfolio_page","type-portfolio_page","status-publish","has-post-thumbnail","hentry","portfolio_category-9-digitalisierung","portfolio_category-weiterbildung"],"_links":{"self":[{"href":"https:\/\/tkhamann.com\/de\/wp-json\/wp\/v2\/portfolio_page\/27477","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/tkhamann.com\/de\/wp-json\/wp\/v2\/portfolio_page"}],"about":[{"href":"https:\/\/tkhamann.com\/de\/wp-json\/wp\/v2\/types\/portfolio_page"}],"author":[{"embeddable":true,"href":"https:\/\/tkhamann.com\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/tkhamann.com\/de\/wp-json\/wp\/v2\/comments?post=27477"}],"version-history":[{"count":4,"href":"https:\/\/tkhamann.com\/de\/wp-json\/wp\/v2\/portfolio_page\/27477\/revisions"}],"predecessor-version":[{"id":27482,"href":"https:\/\/tkhamann.com\/de\/wp-json\/wp\/v2\/portfolio_page\/27477\/revisions\/27482"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/tkhamann.com\/de\/wp-json\/wp\/v2\/media\/27483"}],"wp:attachment":[{"href":"https:\/\/tkhamann.com\/de\/wp-json\/wp\/v2\/media?parent=27477"}],"wp:term":[{"taxonomy":"portfolio_category","embeddable":true,"href":"https:\/\/tkhamann.com\/de\/wp-json\/wp\/v2\/portfolio_category?post=27477"},{"taxonomy":"portfolio_tag","embeddable":true,"href":"https:\/\/tkhamann.com\/de\/wp-json\/wp\/v2\/portfolio_tag?post=27477"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}