Spring til indhold
Authr English

Opgave som AI Lead

Modellen som det sidste trin, ikke det første

En førende dansk dataleverandør

Sådan designede og testede vi en billigere arkitektur til en kundes AI-baserede klassificeringspipeline, og hvad testene viste undervejs.

Problem

Hver gevinst i nøjagtighed gjorde systemet dyrere at køre

Kunden brugte en sprogmodel til at knytte forretningsattributter til poster i stor skala. Hver foreslået forbedring af nøjagtigheden hævede omkostningen pr. post, og ved det volumen er en gevinst, man ikke har råd til på hver eneste post, ikke en gevinst.

Bagved lå et dataproblem. De officielle kategorier, systemet lænede sig op ad, var ofte forældede eller for generelle, så modellen blev bedt om at udlede noget, som kildedataene ikke længere kunne levere pålideligt. Opgaven var at hæve nøjagtigheden og samtidig sænke omkostningen pr. post.

Prototype

Billige, sikre trin først og modellen kun til sidst

Vi designede en tragt med de deterministiske trin først. De billige, sikre trin kører først: strukturerede opslagstabeller for attributter, et ordforråd af formålsbestemmelser og navnemønstre og derefter en let scoring uden sprogmodel. Kun det, der kommer igennem begge lag, når frem til modellen, som tager sig af den rest, der reelt er tilbage.

Vi testede tragten mod den eksisterende løsning. Før vi lagde os fast på den, lod vi en anden, uafhængig model angribe den for at finde svaghederne. Og i stedet for at gå ud fra, at den dyreste model var nødvendig, kørte vi en test, hvor en billig model tog den dyres plads, og bedømte svarene som match, delvist match, forbier eller hallucination.

Forslag

Hvad testene viste, og hvad vi ikke satte i drift

Testene viste, at en betydelig del af det eksisterende systems fejl skyldtes, at det hentede det forkerte kildemateriale, og ikke, at det klassificerede forkert. Det flyttede løsningen fra prompt engineering til at forbedre, hvad systemet henter. De fleste af målattributterne kunne afgøres ud fra strukturerede offentlige data alene, uden udgifter til modellen.

Vi foreslog tragten ud fra det, testene viste. Én del, et semantisk søgelag med åbent ordforråd, blev designet, men ikke sat i drift.