Når AI afgør, hvad vi ved – hvordan sikrer vi adgang til troværdig viden? Det spørgsmål bliver belyst fra mange forskellige vinkler på den årlige konference om adgang til troværdig viden, som finder sted den 28. april. Du kan læse mere om konferencen her i nyhedsbrevet og desuden følge med i arbejdet med at forbedre den danske chatbot.
Deltag i konference om troværdig viden
Tirsdag den 28. april er Lex igen vært ved en konference – i år med overskriften: Når AI afgør, hvad vi ved – hvordan sikrer vi adgang til troværdig viden?
På konferencen vil en række oplægsholdere give indblik i, hvordan søgemaskiner og kunstig intelligens fungerer i praksis, og hvordan centrale vidensinstitutioner arbejder med både udfordringer og muligheder. Vi sætter fokus på behovet for løsninger, der bygger på dansk kulturel forståelse og kvalitetssikret indhold, og vi drøfter, hvor samfundet bør sætte rammer, der understøtter demokratiske værdier og fri og lige adgang til information.
Konferencen er arrangeret af Lex i samarbejde med DR, Det Kgl. Bibliotek, Danmarks Statistik, Rigsarkivet, Danmarks Biblioteksforening, Danske Gymnasier og Danske Universiteter.
Arrangementet finder sted i Dronningesalen i Den Sorte Diamant i København kl. 15-17.30. Der er også mulighed for at deltage online hjemmefra. Alle er velkomne, deltagelse er gratis, men tilmelding er nødvendig.
Derfor faldt kvaliteten – og hvordan vi fik chatbotten på rette spor igen
I sidste nyhedsbrev fortalte vi, at skiftet til den open-source-baserede sprogmodel Gemma havde påvirket chatbottens kvalitet. Vi kunne se, at performance var faldet, men vi vidste endnu ikke præcist hvorfor. Var det den nye sprogmodel, der var årsagen? Eller lå forklaringen et andet sted i systemet?
For at finde svaret begyndte vi at skille systemet ad og teste én komponent ad gangen.
Først udskiftede vi selve sprogmodellen og sammenlignede tre forskellige modeller: Gemma (som vi bruger nu), Mistral 3 Large og GLM-4.7, mens resten af systemet forblev uændret. Selvom vi fandt forskelle i kvaliteten og relevansen af svarene, var det ikke nok til at forklare det fald, vi kunne se i den samlede kvalitet. Det tydede på, at problemet ikke primært lå i selve genereringen af svar.
Derefter rettede vi blikket mod en anden del af systemet – den komponent, der arbejder “bag kulisserne” med at finde relevante kilder til chatbotten.
Her opgraderede vi fra en mindre såkaldt embedding-model (multilingual-e5-small) til en større version (multilingual-e5-large), som bruges til at finde og matche jeres spørgsmål med relevante kilder i Lex’ materiale.
Det viste sig at gøre en markant forskel. Læs mere.
Tak for jeres hjælp
Jeres feedback i brugerpanelet er afgørende for, at vi kan udvikle systemet. Kombinationen af jeres erfaringer og vores egne målinger gør det muligt at identificere problemer hurtigere og teste løsninger mere præcist.
Det er blandt andet på den baggrund, at vi nu arbejder på at etablere en mere systematisk evalueringsplatform til AI-løsningen. Den skal gøre det lettere løbende at teste ændringer og følge, hvordan kvaliteten udvikler sig over tid.
Kort sagt: Jeres input gør chatbotten bedre.
Har du ønsker til nyhedsbrevet?
Er der noget, du gerne vil vide om arbejdet med chatbotten, så fortæl os det gerne. Du kan skrive til chatbot@lex.dk.
Med venlig hilsen
Maja Bressendorff
Programleder
chatbot@lex.dk
Kort om den danske chatbot
Lex og Center for Humanities Computing ved Aarhus Universitet er gået sammen om at udvikle et pålideligt dansk alternativ til udenlandske kommercielle chatbotter. Brugerne får adgang til kvalitetssikret viden baseret på Lex’ artikler, der er skrevet af forskere og fagfolk på dansk. Projektet er muliggjort med generøs støtte fra Aage og Johanne Louis-Hansens Fond og Augustinus Fonden.