Da en bruger spurgte “Hvad er lex.dk?”, måtte chatbotten melde pas. Fejlen var menneskelig – men svaret var perfekt. Læs her, hvorfor den manglende viden faktisk er et udtryk for troværdighed.
I arbejdet med at udvikle den danske chatbot, der skal kunne svare på spørgsmål ud fra hundredetusindvis af artikler på lex.dk, opstod en pudsig situation. Da en bruger spurgte, “Hvad er lex.dk?, svarede chatbotten høfligt: “Jeg beklager, men jeg er ikke i stand til at finde et svar på dit spørgsmål i vores artikler.”
Fejlen viste sig hurtigt at være helt menneskelig. Vi havde simpelthen glemt at give chatbotten adgang til vores side “Om Lex” som kilde. Og eftersom den kun må svare på spørgsmål, hvis den kan finde dokumenteret information i vores eget materiale, kunne den ikke svare.
Chatbotten er nemlig konstrueret til ikke at hallucinere, et teknisk begreb, der betyder, at en sprogmodel ikke må “finde på” eller gætte, når den mangler data. I stedet skal den indrømme, at den ikke ved det. Det er et vigtigt princip, fordi vi ønsker, at chatbotten kun leverer troværdige og kildebaserede svar og ikke gætter.
Derfor var det faktisk en succeshistorie forklædt som fejl. Chatbotten gjorde præcis det, den var instrueret til: Den holdt sig til fakta og undlod at opfinde et svar om sin egen identitet.
“Det er jo faktisk et godt tegn,” siger postdoc og teamleder Simon Enni. “Fejlen var helt og holdent menneskelig, chatbotten opførte sig efter hensigten. Den sagde pænt ‘det ved jeg ikke’, fordi vi simpelthen havde glemt at fortælle den, hvem Lex er.”
“Om Lex”-siden bliver tilføjet i næste version af chatbotten, sammen med en masse andre sider, som var blevet ekskluderet i første omgang. Og chatbotten? Ja den får endelig lov til at fortælle om den organisation, den er en del af.
Simon Enni er postdoc på forskningsprojektet vedr. den danske chatbot, der er et samarbejde mellem Center for Humanities Computing, Aarhus Universitet og Lex.