Værdifuld feedback viser vej

Den nuværende A/B-test er afsluttet, men vi fortsætter test med nyt design og nye A/B-spørgsmål.

Vi er nu 5500 i brugerpanelet, og I bliver ved med at teste, spørge og sende os kommentarer. Det giver os værdifuld viden om, hvordan chatbotten fungerer i praksis – og hvad vi skal forbedre.

Svar A eller svar B?

I den seneste tid har mange af jer været med til at teste to forskellige måder at få chatbotten til at svare på.

Den ene måde fulgte vores hidtidige måde at genere svar på. Den anden blev udviklet på baggrund af workshops på Lex tidligere på året. Her arbejdede vi med, hvordan et godt svar fra chatbotten bør bygges op, så det i højere grad følger de redaktionelle principper, vi også bruger i vores artikler.

Når vi ser på jeres valg mellem svar A og svar B, er der en tydelig præference for det redaktionelt tilpassede workflow, hvor svarene blandt andet indledes med en kort manchet.

A/B-testene fortsætter nu i en ny form. Denne gang tester vi blandt andet to forskellige sprogmodeller, Googles Gemma over for franske Mistral, og jeres feedback er fortsat værdifuld. Et klik på A eller B fortæller os, hvilket svar der fungerer bedst. Kommentarerne hjælper os med at forstå hvorfor – og dermed, hvad vi konkret skal forbedre.

De mystiske fejl

Flere af jer har også meldt om mærkelige fejl: Perioder, hvor chatbotten ikke svarer, eller hvor den pludselig gentager det samme ord igen og igen.

Fejlene har vist sig at være overraskende svære at genskabe – og derfor også svære at finde årsagen til. Vi har dog en mistanke om, at problemet hænger sammen med den tekniske opsætning bag chatbotten, og vi arbejder på at få det løst.

Bliv derfor endelig ved med at sende os jeres oplevelser, også når noget bare virker underligt. Den slags tilbagemeldinger er guld værd, fordi de hjælper os med at opdage fejl, vi ikke nødvendigvis selv møder i vores test.

Vi tester også selv

Samtidig med jeres test er vi i gang med en systematisk intern test.

En større gruppe studentermedarbejdere tester konkrete funktioner og undersøger blandt andet, om fejl, som I har gjort os opmærksomme på, faktisk er blevet rettet.

Redaktionen tester noget andet. Her bruger redaktørerne deres indgående kendskab til indholdet på Lex til at undersøge to centrale spørgsmål:

Finder chatbotten de artikler på Lex, som man forventer, når man stiller et spørgsmål? Og holder svaret sig til det, der faktisk står i de kilder, chatbotten har fundet?

Begge dele er afgørende, hvis vi skal kunne stole på chatbotten. Den skal både finde relevante kilder og være loyal over for indholdet i dem.

Indtil videre ser resultaterne lovende ud. I omkring 95 % af testene vurderer redaktionen, at chatbotten finder de rette kilder, og i omkring 95 % af tilfældene svarer den loyalt ud fra de fundne kilder.

3500 fulgte AI-konferencen

Vores konference om AI og troværdig viden blev en stor succes. Flere end 400 deltog i salen, og ca. 3500 har set konferencen online.

Hvis du ikke fik set konferencen live – eller gerne vil gense dele af den – kan du se hele konferencen her eller vælge de enkelte oplæg, du er mest interesseret i.

I oktober åbner vi chatbotten for alle

Hvis alt går efter planen, åbner vi den 27. oktober 2026 chatbotten i en offentlig testversion. Det betyder, at alle får mulighed for at prøve Lex’ AI-assistent uden at være medlem af brugerpanelet og uden at logge ind.

Det bliver både spændende og lidt nervepirrende. For hvad sker der, når langt flere mennesker begynder at bruge den? Hvilke spørgsmål vil de stille? Hvilke fejl vil de finde? Og vil chatbotten opføre sig, som vi forventer?

Vi ved godt, at Lex’ AI-assistent slet ikke er færdig. Netop derfor åbner vi den i en testversion, hvor vi fortsat kan lære, justere og forbedre.

Når støvet har lagt sig efter lanceringen, håber vi at kunne bruge brugerpanelet til nye eksperimenter med kunstig intelligens og indholdet på Lex, så vi kan blive endnu skarpere på, hvordan vi bedst udnytter den nye teknologi uden at give køb på troværdigheden.

Det håber vi, at I stadig har lyst til at være en del af.

Endnu engang tak for, at I hjælper os med at udvikle den danske chatbot. Er der noget, du gerne vil vide om arbejdet, så fortæl os det gerne. Du kan skrive til chatbot@lex.dk.

Kort om den danske chatbot

Lex og Center for Humanities Computing ved Aarhus Universitet er gået sammen om at udvikle et pålideligt dansk alternativ til udenlandske kommercielle chatbotter. Brugerne får adgang til kvalitetssikret viden baseret på Lex’ artikler, der er skrevet af forskere og fagfolk på dansk. Projektet er muliggjort med generøs støtte fra Aage og Johanne Louis-Hansens Fond og Augustinus Fonden.