In einer experimentellen Studie haben wir die Customer-Care-Performance von Chatbot und Mensch untersucht und verglichen.
Vielleicht kennen Sie es von sich selbst: Anstatt abzuwarten, bis die telefonische Hotline am nächsten Tag wieder besetzt ist oder sich Informationen selbst auf der Website herauszusuchen, lassen sich viele Anliegen ganz einfach zwischendurch im Chat desjenigen Unternehmens platzieren, an das das Anliegen gerichtet werden soll. Das ist bequem, zeitgemäß und wird von immer mehr Unternehmen erwartet.
Was ist jedoch, wenn mein Anliegen zu komplex ist und Chatbot oder der Mitarbeiter im Live-Chat es auf dem ersten Level nicht lösen können? Dann wird mein Anliegen zumeist „eskaliert“, wie man so sagt: Es wird an den Second Level weitergeleitet.
Eine Binsenweisheit vorweg: Second-Level-Support ist immer menschlich. Der Second Level muss das Anliegen mit „echtem“ Menschenverstand betrachten. Eine zweite schlauere KI, einen engagierteren Chatbot, den gibt es nicht.
Das Gute vorab: In unserer Studie konnten 75 % aller Anfragen bereits im First Level beantwortet werden. Das ist eine immense Entlastung für die Mitarbeitenden im Customer Service. Und für ein Unternehmen ist das natürlich auch wirtschaftlich relevant. Ein Chat – egal, ob als KI oder als Live-Chat, den ein Mitarbeiter bedient – der drei Viertel aller Anfragen bereits abfängt und erledigt, eröffnet den Mitarbeitenden im Second Level Zeit, sich um die wirklich „harten Nüsse“ zu kümmern.
Jetzt stellt sich natürlich die Frage: Werden denn auch wirklich nur die „harten Nüsse“ weitergeleitet? Oder kann es sein, dass schon einfachere Anfragen Chatbot und Live-Chat vor Herausforderungen stellen? Funktioniert die Weiterleitung an den Second Level reibungslos? Und vor allem: Wer leitet häufiger weiter?
Studienaufbau: Was haben wir gemacht?
Wir haben unterschiedliche Branchen – Möbel, Mobilität, Banking, Automobil – mit drei verschiedenen Szenarien konfrontiert. Angeschrieben wurden Live-Chats (also Chats, in denen man live mit „echten“ Mitarbeitenden chattet) sowie Chatbots (also Chats, in denen eine KI auf die Fragen antwortet).
Durchgeführt wurden n=53 Tests. Hierbei wurde 27x ein Chatbot und 26x ein Live-Chat angeschrieben. Alle Tests wurden zwischen dem 15.04. und dem 23.04.2024 zwischen 07:30 und 16:00 Uhr durchgeführt. Tests am Wochenende wurden nicht durchgeführt.
Unsere Szenarien teilten sich auf in einfache Fragen (z. B. zu Öffnungszeiten), herausfordernde Fragen (z. B. ein Sonderwunsch zu einem Produkt) sowie komplexe Fragen (z. B. eine Beschwerde).
Bis hierhin und nicht weiter: Wann brauchen Chatbot und Live-Chat den Second-Level-Support?
Wie gesagt: Mensch oder KI konnten 75 % aller Anfragen bereits im First Level klären. Lassen Sie uns nun die 25 %, in denen eine Weiterleitung angeboten wurde, etwas genauer betrachten.
85 % der angebotenen Weiterleitungen erfolgten durch den Chatbot.
15 % der an den Second Level Support weitergeleiteten Anliegen wurden zuvor von einem menschlichen Mitarbeitenden im Live-Chat bearbeitet.
Wenn wir uns den getesteten Szenarien zuwenden, fällt keins der drei Szenarien als besonders „weiterleitungsbedürftig“ auf: Beim Chatbot annähernd gleich auf die drei Szenarien „Basic-Frage“, „Sonderwunsch“ und „Beschwerde/Kritik“.
Im Live-Chat konnten – das ist bemerkenswert – sämtliche „Sonderwünsche“ im First Level beantwortet werden, eine Eskalation gab es (zu gleichen Teilen) bei „Basic-Fragen“ und beim Szenario „Beschwerde/Kritik“.
In unserer Studie zeigt sich also, dass die Mitarbeitende im Live-Chat dem Chatbot noch voraus sind und dem Hilfesuchenden deutlich öfter und besser die Frage beantworten können, ohne den Second Level einschalten zu müssen.
Thematisch gibt es keine eindeutige Tendenz, wann Unterstützung benötigt wird und was „alleine“ erledigt werden kann. Es werden also nicht nur „harte Nüsse“, sondern durchaus auch weniger komplexe Anliegen weitergeleitet – genauso können sowohl einfachere als auch komplexere Anliegen schon auf erstem Level geklärt werden.
Die Weiterleitung
Wenn nun der Kunde im ersten Level keine zufriedenstellende Antwort bekommt, möchte er, dass er die Weiterleitung problemlos funktioniert. Er befindet sich bereits in einem Chat-Fenster – die Wahrscheinlichkeit, dass er einen anderen Kontaktweg einschlagen möchte, halten wir für gering.
Die Erfahrung aus unserer Studie zeigt jedoch, dass der einfache Weg (noch) nicht immer erwartet werden kann: Einen Mitarbeiter des Second-Level-Supports dem Chat hinzuzufügen, sodass der Kontaktkanal nicht gewechselt werden muss.
- In lediglich 50 % der Testfälle, wo ein Second-Level-Support erforderlich war, erfolgte eine reibungslose Übergabe innerhalb des aktiven Chat-Fensters.
- In 50 % der Fälle funktionierte eine reibungslose Übergabe innerhalb des aktives Chat-Fensters nicht:
- In der Hälfte dieser Fälle wurde eine Telefonnummer genannt, die der Kunde anrufen solle.
- Ein Viertel verwies auf einen Video-Chat.
- Bei einem weiteren Viertel gab es ein technisches Problem mit der Verbindung.
Chatbot vs. Mensch: Wer kann was (nicht)?
In unserer Welt, in der die KI immer weiter ausreift und man sich manchmal gar nicht sicher ist, ob z. B. ein Foto von einem Menschen gemacht oder von einer KI generiert wurde, ist es ganz besonders interessant, etwaige Unterschiede zwischen beiden herauszufinden. Gibt es sie überhaupt? Und wenn ja: Wer kann was (noch) besser? Hierzu haben wir uns nun sämtliche Testfälle angeschaut, die wir im Rahmen dieser Studie durchgeführt haben.
Chatbot und Live-Chat punkten beide bei Wartezeit, Antwortgeschwindigkeit, (vermittelter) Freundlichkeit und Motivation und angemessener Ausdrucksweise. Welche Schwachpunkte fallen auf?
Wartezeit
Wenn ich das Chatfenster öffne, um mein Anliegen zu schildern, möchte ich nicht lange auf die Rückmeldung warten müssen. Häufig ist es so, dass die Frage direkt gestellt werden kann und sich Chatbot oder Mitarbeiter dann darauf zurückmelden. Ich erwarte also eine zeitnahe Rückmeldung.
Erwartungsgemäß stand der Chatbot direkt zur Verfügung. Die Wartezeit betrug hier immer zwischen 0 und 1 Sekunde. Auch die Mitarbeitenden im Live-Chat waren sehr schnell für unsere Testkunden zur Stelle: Im Schnitt betrug die Wartezeit lediglich 1,8 Sekunden, bis sich ein Mitarbeiter zumindest schon einmal mit einer kurzen Begrüßung meldete.
Antwortgeschwindigkeit
Ebenso positiv empfanden unsere Testkunden die Antwortgeschwindigkeit im weiteren Verlauf des Chats.
- Der Chatbot wurde in 89 % der Fälle mit „sehr zufrieden“, in 11 % der Fälle mit „eher zufrieden“ bewertet.
- Der Live-Chat bekam zu 77 % ein „sehr zufrieden“, zu 19 % ein „eher zufrieden“ und zu 4 % ein „weder noch“.
Die etwas schlechtere Bewertung verglichen mit dem Chatbot ist sicher dem händischen Tippen des Mitarbeiters geschuldet, der mutmaßlich nicht für alle Anliegen maßgeschneiderte Textbausteine vorliegen hat.
Freundlichkeit und Motivation
Die Freundlichkeit und Motivation, die aus den Worten heraus „hörbar“ war, wurde von unseren Testkunden ebenfalls als positiv empfunden.
- Chatbot: 97 % freundlich, 71 % motiviert.
- Live-Chat: 100 % freundlich, 85 % motiviert.
Ausdrucksweise
Auch die Ausdrucksweise beider Chat-Formen wird von unseren Testkunden zu 100 % als angemessen bewertet. Lediglich bei der Orthografie gibt es kleine Schwächen: 12 % der Fälle im Live-Chat wiesen Rechtschreib- oder Grammatikfehler auf, während der Chatbot gar keine Fehler attestiert bekam. Diese Tatsache ist wohl ebenfalls ein Zugeständnis an das händische Tippen im Live-Chat, in dem bei individuellen Antworten nicht auf vorgefertigte Bausteine zurückgegriffen werden kann und sagt nicht zwingend etwas über die Fähigkeit des Rechtschreibens aus.
Lösungsorientierung
Bei der Bewertung, ob eine Lösungsorientierung auf der anderen Seite des Chats spürbar war, gibt es große Unterschiede.
Chatbot: Nur 44 % unserer Testkunden waren sehr zufrieden mit der Lösungsorientierung. 15 % waren eher zufrieden, 7 % unschlüssig, 22 % eher unzufrieden und 11 % sehr unzufrieden.
Live-Chat: 92 % waren sehr zufrieden mit der Lösungsorientierung, 8 % eher zufrieden.
Verabschiedung
Die Verabschiedung vom Testkunden ist etwas, an dem insbesondere beim Chatbot noch gearbeitet werden muss. Der Chatbot hat sich in nur einem Drittel aller Chatbot-Fälle (33 %) vom Testkunden verabschiedet. Im Live-Chat wurden immerhin 65 % unserer Testkunden verabschiedet. Hierzu haben wir auch Aussagen wie „Ich wünsche Ihnen einen schönen Tag“ oder „Wir freuen uns, bald wieder von Ihnen zu hören“ gezählt.
Die Gesamtzufriedenheit: Ein wichtiger Hinweis auf die Qualität des Chats
Letzten Endes wichtig für Sie als Anbieter einer Chat-Form: Sind die Kunden, die auf diesem Weg den Kontakt zu Ihnen suchen, zufrieden mit dem Angebot?
Zufriedenheit mit dem Chatbot
Nimmt man alle Fälle, in denen der Chatbot getestet wurde, waren die Testkunden ungefähr zur Hälfte zufrieden mit der Bearbeitung ihres Anliegens (22 % sehr zufrieden, 26 % eher zufrieden). 44 % zeigten sich dagegen unzufrieden (33 % eher unzufrieden, 11 % sehr unzufrieden).
Die Unzufriedenheit mit dem Chatbot nimmt sogar noch deutlich zu, betrachtet man nur die Fälle, in denen das Anliegen nur vom Chatbot im First Level bearbeitet wurde: 56 % eher bis sehr unzufrieden!
Ein Blick in die Begründungen der Testkunden zeigt, dass sie das Fehlen konkreter Antworten vermissten. Fast die Hälfte der Testkunden bemängelt hier, dass der Bot ein vorgefertigtes Schema „durchzog“. Individualität: Fehlanzeige.
Bemängelt wurde – selbst bei einfachen Fragen – die Fähigkeit des Chatbots, Fragen zu verstehen.
Zufriedenheit mit dem Live-Chat
Die Zufriedenheit mit dem Live-Chat ist insgesamt sehr groß: 65 % der Testkunden waren sehr zufrieden mit dem Kontakt, 35 % eher zufrieden.
