Jev: de AI die niet praat maar beslist, en wat dat betekent voor klantcontact

Wat er deze maand gebeurde

Op 15 september bracht TypeSafe AI, het lab van oud-OpenAI-onderzoeker Diogo Almeida, een model uit dat Jev heet. Het kwam met 40 miljoen dollar aan seed-financiering en met een claim die ontwikkelaars meteen deed opveren: dit model schrijft geen tekst. Het geeft antwoord op een afgebakende vraag, in een vast formaat, met een percentage erbij dat zegt hoe zeker het is. En het doet dat in 70 tot 500 milliseconden.

Vercel zette Jev in zijn AI Gateway en noemde het het snelst geadopteerde model in de geschiedenis van dat platform. TypeSafe noemt het een 'System One'-model, naar de snelle, intuïtieve manier van denken uit het werk van Daniel Kahneman. Een gewoon taalmodel is System Two: het redeneert, schrijft, weegt af. Jev doet het andere ding: kijken, beslissen, klaar.

Dit stuk gaat niet over de techniek. Het gaat over de vraag waarom dit precies de beslissing raakt waar AI-klantcontact al jaren op stukloopt.

Wat een System One-model eigenlijk is

Je geeft het model twee dingen: de situatie (een e-mail, een gesprekstranscript, een logbestand) en een vraag met een beperkt aantal mogelijke antwoorden. Het model kiest een antwoord en zegt hoe zeker het is. Meer niet.

Jev kent drie soorten vragen. Een keuze: welke van deze vijf afdelingen moet dit hebben? Een score: hoe dringend is dit op een schaal van 1 tot 10? En een ja-of-nee: is deze klant boos? Het antwoord past altijd in het formaat dat jij vooraf hebt vastgelegd. Een zin als 'ik denk dat het misschien de boekhouding is, maar het kan ook' komt er niet uit, want dat is geen geldig antwoord.

Dat is het hele idee. Software kan een percentage lezen en een keuze uitvoeren. Software kan een alinea niet lezen. Een gewoon taalmodel produceert alinea's, en daar zit al jaren de wrijving: je vraagt een chatbot iets te beslissen en krijgt een verhaal terug dat je vervolgens weer moet interpreteren.

Waarom 'kan niet hallucineren' iets anders betekent dan je hoopt

TypeSafe zegt dat Jev niet kan hallucineren, en dat klopt in een precieze zin: het model kan geen antwoord verzinnen dat buiten jouw lijst valt. Vraag je 'welke afdeling' met vijf opties, dan krijg je nooit een zesde.

Het kan wel de verkeerde van de vijf kiezen. Het verschil zit in wat er dan gebeurt. Een taalmodel dat fout zit, klinkt even overtuigend als een taalmodel dat goed zit. Jev geeft er een getal bij. Bij 96% zekerheid laat je de software zelf handelen. Bij 61% laat je een mens kijken. Die grens bepaal jij, per beslissing, en dat is meer waard dan de foutloosheid die niemand kan leveren.

TypeSafe zegt er overigens zelf bij dat de snelheids- en kostencijfers waarschijnlijk aan de bovenkant van wat je in de praktijk haalt zitten, en dat het model bevooroordeeld kan zijn. Dat een AI-lab dat in zijn eigen lanceringstekst zet, is op zichzelf nieuws.

De moeilijkste beslissing in AI-klantcontact is niet het antwoord

Wie een AI-assistent op de telefoon, in de chat of op WhatsApp zet, denkt eerst aan de vraag: kan hij goed antwoorden? Dat is na een jaar ervaring niet meer het probleem. Het probleem is de andere vraag, die honderden keren per dag valt: moet dit nu naar een mens?

Een beller met een aflopende termijn. Een klant die voor de derde keer hetzelfde vraagt. Een bericht om elf uur 's avonds waar het woord 'spoed' in staat. Elk van die momenten is een beslissing met een beperkt aantal uitkomsten: zelf afhandelen, warm doorverbinden, terugbelverzoek vastleggen. Het is precies het soort vraag waar Jev voor gebouwd is, en precies het soort vraag waar je een taalmodel vandaag nog een alinea over laat schrijven.

Bij Heyloha stel je per contact en per tijdslot in of de assistent warm of koud doorverbindt, en wat er gebeurt als niemand opneemt. De assistent herkent spoed op basis van jouw instructies. Dat werkt, maar de onderliggende beslissing komt uit hetzelfde model dat ook het gesprek voert. System One-modellen splitsen dat op: één model praat, een ander beslist, in een halve seconde en met een zekerheidsscore die je kunt instellen als drempel.

Voor de duidelijkheid: Heyloha draait vandaag niet op Jev. Het model is twee weken oud en zit in early access. Maar de richting is duidelijk, en wij zijn niet de enigen die ernaar kijken.

Wat het doet met kosten en snelheid

TypeSafe rekent 42 dollar per miljard invoertokens en niets voor de uitvoer. Dat is, in hun eigen woorden, te goedkoop om te meten. Een gewoon taalmodel een beslissing laten nemen kost een paar seconden en een paar cent. Een System One-model kost een halve seconde en vrijwel niets.

Dat verschil klinkt technisch, maar het verandert wat haalbaar is voor een bedrijf met twintig man. Elke inkomende oproep eerst laten beoordelen op urgentie voordat iemand opneemt, was tot nu toe iets voor callcenters met een IT-afdeling. Als die beoordeling niets kost en niemand laat wachten, wordt het iets wat je gewoon aanzet.

Hetzelfde geldt voor controle achteraf. Een tweede model dat elk AI-antwoord toetst voordat het de deur uitgaat (klopt dit met de kennisbank, staat hier een prijs in die niet bestaat) was te traag en te duur om standaard te doen. Bij 200 milliseconden per controle niet meer.

Wat je hier nu mee moet

Je hoeft geen model te kiezen. Drie dingen kun je wel doen, ongeacht welke leverancier je gebruikt.

Schrijf je doorverbindregels op als beslissingen met een beperkt aantal uitkomsten. Niet 'bij belangrijke klanten doorverbinden', maar: welke situaties, welke uitkomsten, welke drempel. Als je het niet als een keuze uit vijf kunt opschrijven, kan geen enkel model het voor je beslissen.

Bepaal per beslissing hoe zeker de AI moet zijn. Een afspraak inplannen mag bij 80%. Een klacht als afgehandeld markeren pas bij 98%, en anders naar een collega. Die getallen zijn beleid, geen techniek, en ze horen bij jou te liggen.

Houd een mens aan de knop bij alles wat gevolgen heeft. Ook TypeSafe zegt het: het model geeft een kans, de applicatie beslist wat ermee gebeurt. Dat is geen beperking van de techniek, dat is hoe het hoort.

Zie het in de praktijk

Wil je zien hoe een AI-assistent vandaag al beslist wanneer hij doorverbindt, spoed herkent of een terugbelverzoek vastlegt? Plan een demo van dertig minuten, dan lopen we jouw doorverbindregels samen door. Of test Heyloha veertien dagen gratis op je eigen nummer en website.

Veelgestelde vragen over Jev en System One-modellen