Hugging Face: vragen beantwoorden met taalmodellen

Met Hugging Face verkenden we hoe een taalmodel vragen bij nieuwsartikelen kan beantwoorden. Dit archiefbericht beschrijft het experiment en de controles die een toepassing bruikbaar maken.

Uit het Devtec-archief · 18 mei 2024

Hugging Face en vragen bij nieuwsartikelen

In mei 2024 beschreven we een experiment met Hugging Face. Het doel was om wereldnieuws te verwerken en een systeem te ontwikkelen dat vragen over die artikelen kon beantwoorden.

Tekst voorbereiden

Voordat een model tekst kan verwerken, moet die worden omgezet in kleinere eenheden: tokens. In het experiment gebruikten we een BERT-tokenizer om die voorbereiding uit te voeren.

Voortbouwen op bestaande modellen

Een voorgetraind model vormde de basis voor het beantwoorden van vragen bij een aangeleverde tekst. Daardoor lag de aandacht op de toepassing en de verwerking van artikelen, in plaats van op het vanaf nul trainen van een taalmodel.

Van experiment naar bruikbare toepassing

Een werkend voorbeeld is een eerste stap. Voor gebruik in een echt proces moet je ook beoordelen of antwoorden kloppen, of de bron voldoende informatie bevat en hoe het systeem omgaat met vragen buiten die bron. Het oorspronkelijke experiment laat vooral zien hoe je zo’n verkenning kunt beginnen.

Antwoorden controleren met Hugging Face

Een nuttige proef begint met vragen waarvan je het antwoord zelf kunt controleren. Neem ook vragen op die niet in de tekst worden beantwoord. Juist daarmee zie je of de toepassing haar grenzen herkent of toch een aannemelijk antwoord geeft. Bewaar de bronpassage bij ieder resultaat, zodat je de uitkomst kunt beoordelen.

Maak onderscheid tussen een antwoord uit een tekst halen en een nieuw antwoord formuleren. Bij de eerste aanpak wijst het model een passage aan. Bij de tweede aanpak is extra controle nodig op wat de gegenereerde tekst beweert. Kies de aanpak op basis van het werk dat je wilt ondersteunen.

De documentatie over question answering beschrijft die verschillende taken. Gebruik haar als technisch vertrekpunt en controleer of het gekozen model bij je taal en invoer past.

Voor dagelijks gebruik tellen ook de verwerkingstijd en de afhandeling van ontbrekende informatie mee. Begin daarom met een afgebakende verzameling teksten en breid pas uit nadat de resultaten bruikbaar zijn. Bekijk onze software en automatisering als je wilt onderzoeken welke stap in jouw proces hiervoor geschikt is.