Sådan designede og testede vi en billigere arkitektur til en kundes AI-baserede klassificeringspipeline, og hvad testene viste undervejs.
Problem
Hver gevinst i nøjagtighed gjorde systemet dyrere at køre
Kunden brugte en sprogmodel til at knytte forretningsattributter til poster i stor skala. Hver foreslået forbedring af nøjagtigheden hævede omkostningen pr. post, og ved det volumen er en gevinst, man ikke har råd til på hver eneste post, ikke en gevinst.
Bagved lå et dataproblem. De officielle kategorier, systemet lænede sig op ad, var ofte forældede eller for generelle, så modellen blev bedt om at udlede noget, som kildedataene ikke længere kunne levere pålideligt. Opgaven var at hæve nøjagtigheden og samtidig sænke omkostningen pr. post.
Prototype
Billige, sikre trin først og modellen kun til sidst
Vi designede en tragt med de deterministiske trin først. De billige, sikre trin kører først: strukturerede opslagstabeller for attributter, et ordforråd af formålsbestemmelser og navnemønstre og derefter en let scoring uden sprogmodel. Kun det, der kommer igennem begge lag, når frem til modellen, som tager sig af den rest, der reelt er tilbage.
Vi testede tragten mod den eksisterende løsning. Før vi lagde os fast på den, lod vi en anden, uafhængig model angribe den for at finde svaghederne. Og i stedet for at gå ud fra, at den dyreste model var nødvendig, kørte vi en test, hvor en billig model tog den dyres plads, og bedømte svarene som match, delvist match, forbier eller hallucination.
Forslag
Hvad testene viste, og hvad vi ikke satte i drift
Testene viste, at en betydelig del af det eksisterende systems fejl skyldtes, at det hentede det forkerte kildemateriale, og ikke, at det klassificerede forkert. Det flyttede løsningen fra prompt engineering til at forbedre, hvad systemet henter. De fleste af målattributterne kunne afgøres ud fra strukturerede offentlige data alene, uden udgifter til modellen.
Vi foreslog tragten ud fra det, testene viste. Én del, et semantisk søgelag med åbent ordforråd, blev designet, men ikke sat i drift.