AI-agenten löste kundärendet. Vad kostade det?

Ett mejl kommer in till kundservice. På några sekunder har en AI-agent läst mejlet, hittat kundnumret, slagit upp ordern och skrivit ett svar. Kunden slipper vänta. Företaget har precis betalat för en kedja av modellanrop som snart ska upprepas tusentals gånger.

På Aixia ser vi det här skiftet hos företag som har kommit förbi AI-piloten. De har hittat arbetsflöden som fungerar och vill använda dem bredare. När tjänster byggda på Claude eller modellerna bakom ChatGPT får hantera fler användare, större datamängder och längre kedjor av uppgifter växer också kostnaden. Ett pris per anrop som ser obetydligt ut i testmiljön kan sätta gränsen för hur många ärenden företaget har råd att automatisera. Gartner räknar med att kostnaden för modellkörning per agentiskt arbetsflöde kan öka mer än femfaldigt fram till 2028, även när grundmodellerna blir effektivare. Agenter gör helt enkelt fler saker på vägen till ett färdigt resultat.

Gartner ser öppna modeller i nio av tio steg

Gartner bedömer att 90 procent av stegen i företagens operativa agentflöden kommer att köras på modeller med öppna vikter år 2030. Enligt analytikerna kan öppna modeller redan hantera många rutinmoment med likvärdig kvalitet. Tänk klassificering, informationsutvinning och anrop till verksamhetssystem.

I bästa fall kan modellkostnaden bli så låg som en tjugondel av kostnaden för att använda en av de mest avancerade modellerna, en frontiermodell, i varje steg. När längre svar och fler omförsök räknas in är analytikernas försiktigare uppskattning omkring en femtedel till en sjättedel per uppgift. Utfallet beror på arbetsflödet och jämförelsemodellen.

Gå tillbaka till kundmejlet. En mindre modell kan avgöra vad ärendet gäller och plocka ut ordernumret. En vanlig integration kan kontrollera leveransstatus. Om leveransbeskedet motsäger vad kunden tidigare fått höra kan en starkare modell hjälpa till att reda ut underlaget, eller så kan ärendet gå vidare till en handläggare. Företaget betalar då för den avancerade modellen i de fall där den faktiskt behövs. Forskare från NVIDIA och Georgia Tech argumenterar för en sådan uppdelning: många agentanrop har en tydligt avgränsad uppgift där mindre språkmodeller räcker, medan större modeller kan ta hand om stegen som kräver bredare resonemang.

På Aixia har vi i flera år arbetat med öppna modeller som bas och byggt AI-infrastruktur för nordiska kunder. Vi testar hur olika modeller hanterar kundens material, exempelvis svenska facktermer, dokumentformat och anrop till interna system. I produktion spelar det också roll hur snabbt modellen svarar under belastning, hur ofta den behöver försöka igen och när den bör lämna över till en människa. Det är just den här typen av kvalitets- och kostnadsmätning som en MLOps-plattform gör möjlig att följa över tid.

Från skrivbordet till ett AI-moln

Med öppna modeller menar vi här modeller vars vikter finns tillgängliga för egen drift. Licensen styr hur de får användas. När modellen kan köras i flera miljöer får företaget större inflytande över var data behandlas, vem som driver infrastrukturen och hur kapaciteten byggs ut.

En mindre modell kan passa på en arbetsstation för utveckling eller arbete med lokala dokument. Ett eget datacenter kan vara rätt för en gemensam tjänst som behöver komma nära interna system och data. Ett specialiserat AI-moln kan ge snabb tillgång till GPUer för test, produktion eller tillfälliga belastningstoppar. Samma företag kan använda alla tre miljöer och välja placering per arbetsflöde. Det ger också utrymme att byta driftmiljö när behoven förändras. Ett team kan börja på en arbetsstation, prova modellen mot en större mängd data i molnet och sedan sätta den i drift i det egna datacentret. För att kunna göra den flytten behöver man planera även för hur agenten når sina verktyg, hur åtkomst styrs och hur resultat följs upp.

evroc för europeisk kontroll över AI-driften. Stockholmsbaserade evroc bygger ett europeiskt moln för organisationer som ställer höga krav på säkerhet och kontroll över data, plattform och mjukvara. De erbjuder AI-tjänster, virtuella maskiner med GPUer och GPU-kluster. För ett företag som vill köra öppna modeller i molnet med data placerade i Europa ger det ett alternativ till egen drift. Genom Build Nordics AI samarbetar Aixia med evroc och Opper kring skalbar AI-infrastruktur med nordisk förankring. Vi hjälper kunder att omsätta krav på dataplacering, åtkomst och drift i en lösning och avgöra vilka arbetsflöden som passar i den miljön.

Nebius för att testa snabbt och skala upp. Nebius har sitt huvudkontor i Amsterdam och bygger molninfrastruktur för AI, från träning och finjustering till körning av modeller i produktion. Plattformen kombinerar storskaliga GPU-kluster med verktyg för utveckling och drift. I vårt samarbete med Nebius kan vi anpassa kapaciteten efter kundens volym, svarstider och krav på var data behandlas. Med Nebius Token Factory kan ett team prova öppna modeller via API och jämföra dem med modellen som redan används i arbetsflödet. När tjänsten får fler användare finns dedikerade alternativ för reserverad kapacitet och mer förutsägbara svarstider.

Räkna på vad ett löst ärende kostar

Om den billigaste modellen behöver flera försök och en handläggare ändå måste rätta svaret kan den bli dyr i praktiken. Räkna därför på kostnaden per korrekt slutförd uppgift. Ta med modellanrop, hyrd eller egen kapacitet, integration, drift och mänsklig granskning. Vid sporadisk användning kan ett API ge bäst ekonomi. När samma steg körs hela dagen kan egen eller dedikerad kapacitet vara mer lönsam.

Börja med ett arbetsflöde som redan har volym och där ni kan bedöma resultatet. Då går det att mäta hur mycket arbete en öppen modell klarar, vilka undantag som kräver en starkare modell och vad det skulle kosta att skala upp. I kundservice kan ett sådant test utgå från en uppsättning tidigare ärenden. Låt modellerna behandla samma underlag och jämför hur ofta de hittar rätt order, återger leveransstatus korrekt och skickar vidare ärenden som kräver en bedömning. Kör sedan kalkylen på den volym ni faktiskt väntar er. Det ger en bättre bild av vad som händer med kostnaden när piloten växer från ett team till hela verksamheten.