Vores AI-system har efterhånden opnået en kompleksitet, der betyder, at vi ikke længere kan vurdere konsekvenserne af ændringer – for eksempel et skift i den underliggende søgestrategi eller basismodel – blot ved at afprøve chatbotten og læse dens svar.
Derfor har vi behov for en mere systematisk tilgang til evaluering. Fremover vil vi have fokus på at opbygge en intern evalueringsplatform, som kan give os en indikation af, om chatbottens kvalitet forbedres eller forringes, når vi foretager ændringer i systemet.
Evalueringen vil bestå i, at vi så vidt muligt måler chatbottens evne til at finde de rette kilder og besvare allerede kendte spørgsmål faktuelt korrekt. Spørgsmålene udarbejdes af os selv, genereres på baggrund af Lex’ artikler eller udledes af brugernes interaktion med tidligere versioner af chatbotten.
Disse målinger kombineres med feedback fra jer brugere for at skabe en samlet og mere helhedsorienteret vurdering af, om udviklingen bevæger sig i den rigtige retning.