Jev: die KI, die nicht redet, sondern entscheidet, und was das für den Kundenkontakt bedeutet

Was diesen Monat passiert ist

Am 15. September hat TypeSafe AI, das Labor des ehemaligen OpenAI-Forschers Diogo Almeida, ein Modell namens Jev veröffentlicht. Es kam mit 40 Millionen Dollar Seed-Finanzierung und mit einer Aussage, die Entwickler sofort aufhorchen ließ: Dieses Modell schreibt keinen Text. Es beantwortet eine eng gefasste Frage, in einem festen Format, mit einer Prozentzahl, die sagt, wie sicher es sich ist. Und das in 70 bis 500 Millisekunden.

Vercel nahm Jev in sein AI Gateway auf und nannte es das am schnellsten angenommene Modell in der Geschichte der Plattform. TypeSafe bezeichnet es als 'System One'-Modell, nach der schnellen, intuitiven Denkweise aus der Arbeit von Daniel Kahneman. Ein gewöhnliches Sprachmodell ist System Two: Es argumentiert, schreibt, wägt ab. Jev macht das andere: hinsehen, entscheiden, fertig.

In diesem Beitrag geht es nicht um die Technik. Es geht um die Frage, warum das genau die Entscheidung trifft, an der KI-Kundenkontakt seit Jahren scheitert.

Was ein System-One-Modell eigentlich ist

Sie geben dem Modell zwei Dinge: die Situation (eine E-Mail, ein Gesprächsprotokoll, eine Logdatei) und eine Frage mit einer begrenzten Zahl möglicher Antworten. Das Modell wählt eine aus und sagt, wie sicher es sich ist. Mehr nicht.

Jev kennt drei Arten von Fragen. Eine Auswahl: Welche dieser fünf Abteilungen soll das bekommen? Eine Bewertung: Wie dringend ist das auf einer Skala von 1 bis 10? Und ein Ja oder Nein: Ist dieser Kunde verärgert? Die Antwort passt immer in das Format, das Sie vorab festgelegt haben. Ein Satz wie 'ich glaube, es ist vielleicht die Buchhaltung, aber es könnte auch' kommt nie heraus, denn das ist keine gültige Antwort.

Das ist die ganze Idee. Software kann eine Prozentzahl lesen und eine Auswahl ausführen. Software kann keinen Absatz lesen. Ein gewöhnliches Sprachmodell produziert Absätze, und genau dort liegt seit Jahren die Reibung: Sie bitten einen Chatbot, etwas zu entscheiden, und bekommen eine Geschichte zurück, die Sie dann wieder deuten müssen.

Warum 'kann nicht halluzinieren' etwas anderes bedeutet, als Sie hoffen

TypeSafe sagt, Jev könne nicht halluzinieren, und das stimmt in einem präzisen Sinn: Das Modell kann keine Antwort erfinden, die außerhalb Ihrer Liste liegt. Fragen Sie 'welche Abteilung' mit fünf Optionen, bekommen Sie nie eine sechste.

Es kann trotzdem die falsche der fünf wählen. Der Unterschied liegt darin, was dann passiert. Ein Sprachmodell, das falsch liegt, klingt genauso überzeugend wie eines, das richtig liegt. Jev hängt eine Zahl an. Bei 96 % Konfidenz lassen Sie die Software selbst handeln. Bei 61 % lassen Sie einen Menschen draufschauen. Diese Grenze legen Sie fest, pro Entscheidung, und das ist mehr wert als eine Fehlerfreiheit, die niemand liefern kann.

TypeSafe schreibt übrigens selbst in seinen Launch-Text, dass die Geschwindigkeits- und Kostenzahlen wahrscheinlich am oberen Ende dessen liegen, was man in der Praxis erreicht, und dass das Modell Verzerrungen haben kann. Dass ein KI-Labor das in seine eigene Ankündigung schreibt, ist für sich genommen eine Nachricht.

Die schwierigste Entscheidung im KI-Kundenkontakt ist nicht die Antwort

Wer einen KI-Assistenten ans Telefon, in den Webchat oder auf WhatsApp setzt, denkt zuerst an eine Frage: Kann er gut antworten? Nach einem Jahr Praxis ist das nicht mehr das Problem. Das Problem ist die andere Frage, die hunderte Male am Tag fällt: Muss das jetzt zu einem Menschen?

Ein Anrufer mit ablaufender Frist. Ein Kunde, der zum dritten Mal dasselbe fragt. Eine Nachricht um elf Uhr abends mit dem Wort 'dringend' darin. Jeder dieser Momente ist eine Entscheidung mit einer begrenzten Zahl von Ausgängen: selbst erledigen, warm durchstellen, Rückrufbitte erfassen. Es ist genau die Art Frage, für die Jev gebaut wurde, und genau die Art Frage, über die Sie heute noch ein Sprachmodell einen Absatz schreiben lassen.

Bei Heyloha legen Sie pro Kontakt und pro Zeitfenster fest, ob der Assistent warm oder kalt durchstellt und was passiert, wenn niemand abnimmt. Der Assistent erkennt Dringlichkeit anhand Ihrer Anweisungen. Das funktioniert, aber die zugrunde liegende Entscheidung kommt aus demselben Modell, das auch das Gespräch führt. System-One-Modelle trennen das: Ein Modell redet, ein anderes entscheidet, in einer halben Sekunde und mit einem Konfidenzwert, den Sie als Schwelle einstellen können.

Zur Klarheit: Heyloha läuft heute nicht auf Jev. Das Modell ist zwei Wochen alt und im Early Access. Aber die Richtung ist klar, und wir sind nicht die Einzigen, die hinsehen.

Was es mit Kosten und Geschwindigkeit macht

TypeSafe berechnet 42 Dollar pro Milliarde Eingabetokens und nichts für die Ausgabe. In ihren eigenen Worten: zu billig, um es zu messen. Ein gewöhnliches Sprachmodell eine Entscheidung treffen zu lassen, kostet ein paar Sekunden und ein paar Cent. Ein System-One-Modell kostet eine halbe Sekunde und fast nichts.

Das klingt technisch, aber es verändert, was für ein Unternehmen mit zwanzig Leuten machbar ist. Jeden eingehenden Anruf erst auf Dringlichkeit prüfen zu lassen, bevor jemand abnimmt, war bisher etwas für Callcenter mit IT-Abteilung. Wenn diese Prüfung nichts kostet und niemanden warten lässt, wird sie zu etwas, das man einfach einschaltet.

Dasselbe gilt für die Kontrolle danach. Ein zweites Modell, das jede KI-Antwort prüft, bevor sie rausgeht (passt das zur Wissensdatenbank, steht hier ein Preis, den es nicht gibt), war zu langsam und zu teuer, um es standardmäßig zu tun. Bei 200 Millisekunden pro Prüfung nicht mehr.

Was Sie jetzt damit tun sollten

Sie müssen kein Modell auswählen. Drei Dinge können Sie tun, egal welchen Anbieter Sie nutzen.

Schreiben Sie Ihre Durchstellregeln als Entscheidungen mit einer begrenzten Zahl von Ausgängen auf. Nicht 'wichtige Kunden durchstellen', sondern: welche Situationen, welche Ausgänge, welche Schwelle. Wenn Sie es nicht als Auswahl aus fünf Optionen aufschreiben können, kann kein Modell es für Sie entscheiden.

Legen Sie pro Entscheidung fest, wie sicher die KI sein muss. Einen Termin buchen darf sie bei 80 %. Eine Beschwerde als erledigt markieren erst bei 98 %, sonst an einen Kollegen. Diese Zahlen sind Richtlinie, nicht Technik, und sie gehören zu Ihnen.

Lassen Sie bei allem, was Folgen hat, einen Menschen am Schalter. Auch TypeSafe sagt es: Das Modell gibt eine Wahrscheinlichkeit, die Anwendung entscheidet, was damit passiert. Das ist keine Grenze der Technik, so soll es sein.

In der Praxis sehen

Möchten Sie sehen, wie ein KI-Assistent heute schon entscheidet, wann er durchstellt, Dringlichkeit erkennt oder eine Rückrufbitte erfasst? Vereinbaren Sie eine Demo von dreißig Minuten, dann gehen wir Ihre Durchstellregeln gemeinsam durch. Oder testen Sie Heyloha vierzehn Tage kostenlos mit Ihrer eigenen Nummer und Website.

Häufige Fragen zu Jev und System-One-Modellen