Als jurist heeft u wellicht gehoord dat AI-systemen steeds vaker worden bijgestuurd door menselijke input. RLHF is zo’n term die daarbij opduikt. RLHF staat voor Reinforcement Learning from Human Feedback, in het Nederlands versterkend leren met menselijke feedback. Wat houdt dit in? Kort gezegd is het een manier om een AI-model te trainen met feedback van mensen, zodat de antwoorden beter aansluiten op wat gebruikers als goed of gepast beschouwen. In deze blog leggen we uit wat RLHF inhoudt, waarom het is ontstaan en hoe het werkt.

Wat is RLHF?

Bij RLHF laten we mensen (juristen bijvoorbeeld) de door AI gegenereerde antwoorden beoordelen op duidelijkheid en juistheid. Die menselijke feedback dient als stuurmiddel: de AI krijgt als het ware beloningen voor goede reacties en wordt bijgestuurd bij minder goede. Zo leert het model gaandeweg om betere, mensgerichtere antwoorden te geven.

Waarom bestaat RLHF?

Ook in de juridische sector is het belangrijk dat een AI bruikbare en verantwoorde antwoorden geeft. AI zonder menselijke terugkoppeling kan onbedoeld fouten maken of resultaten geven die niet aansluiten bij de praktijk. Denk aan een generiek model dat een wetsartikel vrij samenvat in plaats van precies citeert – dat kan tot misverstanden leiden. RLHF is ontwikkeld om AI te aligneren met menselijke normen en waarden. Door menselijke experts het systeem te laten corrigeren, voorkom je dat de AI ‘zijn eigen gang gaat’. Voor juristen betekent dit dat een juridische AI dankzij RLHF geen ongefundeerde adviezen meer geeft en binnen ethische grenzen blijft. Zo wordt de AI een betrouwbare juridische assistent die de professionele standaard volgt.

Hoe werkt RLHF in de praktijk?

Bij RLHF doorloopt de AI een aantal stappen. Eerst krijgt het model een basisopleiding: een brede voortraining op een grote verzameling teksten (bijv. juridische documenten) om algemene taalvaardigheid op te doen. Vervolgens komt de feedbackfase: menselijke experts beoordelen de antwoorden die het model geeft op juridische vragen (bijv. door aan te geven welke antwoorden beter zijn). Op basis van die feedback traint men een beloningsmodel dat in een score uitdrukt hoe goed een antwoord aansluit bij menselijke voorkeuren. Ten slotte wordt het taalmodel bijgesteld via versterkend leren: het model past zijn gedrag aan zodat het hogere ‘beloningen’ krijgt van het beloningsmodel. Door dit proces te herhalen leert de AI steeds beter welke antwoorden waardering krijgen van mensen. Het resultaat is een model dat betrouwbare antwoorden geeft.

Conclusie

In RLHF: hoe AI leert van menselijke feedback hebben we gezien dat deze aanpak helpt om AI-modellen af te stemmen op menselijke maatstaven. Dankzij RLHF leert een AI-systeem van juristen wat goede en slechte antwoorden zijn, waardoor de AI uiteindelijk betrouwbaarder wordt. Legal Momo past RLHF toe om zijn AI-assistent continu te verbeteren op basis van feedback van juridische experts, zodat u kunt rekenen op een digitale collega die met u meedenkt.

Wil je als eerste kennismaken met Legal Momo? Meld je dan aan voor onze demo.