In gewone taal lezen we een zin als geheel, maar een AI moet eerst de zin opsplitsen om hem te kunnen begrijpen. Dit proces heet tokenisatie: een tekst wordt opgeknipt in kleine eenheden (tokens), meestal woorden of delen daarvan. Tokenisatie van juridische teksten is cruciaal omdat wetsartikelen en vonnissen vaak complex geformuleerd zijn. Legal Momo hanteert een slimme tokenisatie die iedere komma, elk citaat en ieder samengesteld woord correct onderscheidt. Zo ontstaat een reeks bouwstenen die de AI kan verwerken.

Woord voor woord begrijpen

Door tokenisatie leest Legal Momo als het ware woord voor woord. Bijvoorbeeld, de clausule “Artikel 6:162 BW bepaalt…” zal de AI splitsen in afzonderlijke tokens: Artikel, 6:162, BW, bepaalt. Ieder relevant onderdeel – het artikelnummer, de wetbundel, het werkwoord – krijgt zo aandacht. Deze aanpak zorgt ervoor dat de AI juridische termen niet over het hoofd ziet. Een lang samengesteld begrip als huurprijsherzieningsclausule wordt bijvoorbeeld herkend als één bekende term, maar indien nodig opgesplitst in delen om de betekenis te begrijpen (huur, prijs, herziening, clausule). Zo begrijpt Legal Momo ook de bouw van complexe woorden.

Nauwkeurigheid in context

Tokenisatie legt de basis voor verdere AI-analyse. Doordat Legal Momo elke zin opsplitst, kan het systeem preciezer context toekennen aan elk woord. Woorden als verwerpen of beroep krijgen hun juiste juridische betekenis door te kijken naar de omliggende tokens. Bovendien voorkomt tokenisatie dat het systeem zich “verslikt” in lastige zinnen: het neemt obstakels stap voor stap. Dit verhoogt de nauwkeurigheid. Ook bij het genereren van antwoorden of samenvattingen werkt het in het voordeel: de AI bouwt het resultaat op uit begrippen die het eerst heeft ontleed. Voor de gebruiker betekent dit een betrouwbare analyse tot in detail, omdat Legal Momo de tekst vanaf het niveau van losse tokens grondig doorgrondt.

Tokenisatie van juridische teksten

Tokenisatie van juridische teksten lijkt een technisch detail, maar het is de fundering onder Legal Momo’s taalbegrip. Door ieder document op te delen in begrijpelijke stukjes zorgt de AI dat geen enkel woord verloren gaat. Dit leidt tot een beter begrip van context, minder misinterpretaties en uiteindelijk tot output waar u als jurist op kunt vertrouwen. Met deze grondige “woord-voor-woord” aanpak haalt Legal Momo het maximale uit uw documenten, hoe complex de zinnen ook zijn.

Zelf ervaren hoe nauwkeurig Legal Momo uw juridische teksten ontleedt? Meld u aan voor een demo en ontdek de kracht van tokenisatie in de praktijk.