Mange af os kender problemet med dårlig korttidshukommelse. Nogle brugere har opdaget, at Lex’ sprogmodel også har svært ved at huske en helt ny samtale. Et problem, der nu er ved at blive løst.
Da testpanelet tog Lex’ nye chatbot i brug, gik der ikke længe, før nogle brugere opdagede, at alt ikke fungerede, som det skulle. Chatbotten kunne finde præcise oplysninger i opslagsværket og svare korrekt på ét spørgsmål ad gangen. Men når brugerne stillede opfølgende spørgsmål, havde chatbotten svært ved at finde ny relevant information.
Et eksempel lød sådan her:
Bruger: “Hvad var det stockholmske blodbad?”
Chatbot: (giver et korrekt og detaljeret svar)
Bruger: “Har der været lignende episoder mellem Danmark og andre lande?”
Her går det galt; chatbotten burde søge efter relaterede artikler for at give et bredere svar, men i stedet finder den ingen relevante kilder, da “lignende episoder mellem Danmark og andre lande” er for vagt uden spørgsmålet før.
Hvorfor fejlen opstår
Teknisk set skyldes problemet, at chatbotten bruger en metode kaldet Retrieval-Augmented Generation (RAG) til at hente fakta fra Lex’ artikler, men den gør det kun ud fra det seneste spørgsmål. Hver besked bliver altså behandlet som en ny søgning, uden at den husker de tidligere. Derfor finder chatbotten ikke den samme information som før, da formuleringer som “lignende episoder” ikke giver mening uden konteksten fra det tidligere spørgsmål.
Uden ny information kommer chatbotten til at sidde fast, hvor brugeren gerne vil fortsætte samtalen. Chatbotten er begrænset til de kilder, den fandt i første omgang, og den gør som udgangspunkt ikke brug af sin “baggrundsviden”, da vi har instrueret den til kun at svare ud fra kildeteksterne.
“Det er en vigtig opdagelse,” fortæller postdoc Simon Enni. “Vi har bygget en chatbot, der altid holder sig til kilderne og aldrig digter. Men vi har nu set, at den har brug for hjælp for at finde ny relevant information, når brugeren udvider sin søgning. Vi arbejder på at gøre chatbottens søgning mere grundig og avanceret, så chatbotten har de bedste forudsætninger for at svare brugeren”.
Simon Enni er postdoc på forskningsprojektet vedr. den danske chatbot, der er et samarbejde mellem Center for Humanities Computing, Aarhus Universitet og Lex.