En GPU som står oanvänd kostar lika mycket som en som arbetar. Ändå är det precis så det ser ut i många miljöer. Hos många organisationer som har investerat i AI-infrastruktur ligger det genomsnittliga GPU-utnyttjandet under 30 procent, och branschmätningar av molnmiljöer har visat siffror ner mot några enstaka procent. Kapaciteten finns, men den kommer inte till nytta. När Gartner i sin novemberprognos räknar med att de globala utgifterna för AI-infrastruktur landar på 1 563 miljarder dollar under 2026 blir det en dyr vana.
Varför GPU:erna står still
Låg användning beror sällan på att behovet saknas. Oftast handlar det om hur kapaciteten är fördelad:
- GPU:erna är knutna till ett visst team eller en viss person och står tomma när de inte används just där.
- Jobb begär fler GPU:er än de behöver, för säkerhets skull.
- Det finns ingen gemensam kö, så den som har fått kapacitet håller fast vid den.
- Interaktiva miljöer som Jupyter håller kvar GPU:er långt efter att arbetet är klart.
- Ingen kan se vem som använder vad, och då kan ingen heller göra något åt det.
Resultatet blir att utvecklarna väntar på kapacitet samtidigt som GPU:erna står oanvända. Det är det problemet vi byggde AiQu för att lösa.
Så hjälper AiQu till att få upp användningen
AiQu är Aixias svenskutvecklade plattform för att dela, schemalägga och följa upp AI-kapacitet. I stället för att varje team har sina egna GPU:er samlas resurserna i en gemensam pool som alla kan använda.
En gemensam kö i stället för egna GPU:er
AiQu fördelar jobben på de GPU:er som är lediga utifrån prioritet, kötid och resursbehov. När ett team inte använder sin kapacitet kan någon annan göra det.
Kvoter och prioritering
Projekt och användare kan tilldelas kvoter för hur många GPU:er de får använda, vilka typer och med vilken prioritet. Då går det att dela kapacitet utan att det viktigaste projektet hamnar sist i kön.
Rätt storlek på varje jobb
AiQu kan föreslå hur många GPU:er ett jobb faktiskt behöver och fylla klustret automatiskt enligt de regler ni sätter upp. Det minskar både överallokering och jobb som väntar i onödan.
Synlighet per projekt
Administratörer kan följa GPU-timmar och kostnad per projekt och användare, och hur utnyttjandet varierar över tid. Då blir det tydligt vilka projekt som använder kapaciteten, när belastningen uppstår och var det finns ledigt utrymme. Det gör också AI-satsningen lättare att motivera internt.
En plattform för all hårdvara
AiQu kan schemalägga jobb på GPU:er från NVIDIA, AMD och Intel, på CPU och på edge-enheter, i egen infrastruktur, i molnet eller i en hybridmiljö. Ni kan alltså använda den kapacitet ni redan har, oavsett var den står.
Snabbt igång, med kontroll
Färdiga containrar med PyTorch, TensorFlow och Jupyter gör att utvecklarna kommer igång direkt, och allt går att styra via API, CLI och Terraform. Användarna är separerade från beräkningsresurserna, med rollstyrning och loggning, vilket underlättar när känsliga data ska hanteras.
AiQu används bland annat av en svensk region som grund för dess AI-satsning inom hälso- och sjukvård.
Hög användning är inte hela svaret
Det finns en fälla att se upp med. Även en GPU som går för fullt kan slösa pengar, om en stor del av arbetet består i att räkna om sådant den redan har räknat ut.
Tänk dig en AI-assistent som hjälper en servicetekniker att felsöka en maskin. Varje gång teknikern ställer en följdfråga läser assistenten samma servicehandbok, samma instruktioner och nästan hela samma dialog. Om inferensmotorn bearbetar om allt det från början går GPU-tid åt innan modellen ens har börjat formulera nästa svar. Utnyttjandet ser bra ut, men teknikern får vänta.
Om motorn i stället återanvänder den del av kontexten som redan är beräknad kommer svaret snabbare, och samma hårdvara räcker till fler användare. Moderna ramverk för inferens, som NVIDIA Dynamo, bygger just på den principen. De kan leverera fler svar inom samma svarstid utan att utnyttjandesiffran rör sig alls.
Därför behöver GPU-utnyttjande kompletteras med andra mått, särskilt för inferens. NAND Research och WEKA har tagit fram ett Inference Economics Scorecard, som presenterades på SC26. Det väger in hur mycket användbar produktion infrastrukturen levererar i förhållande till effekt, rackutrymme och kostnad.
| Mått | Vad det visar | Vad det inte säger |
|---|---|---|
| GPU-utnyttjande | Hur hårt GPU:n arbetar just nu | Om arbetet behövde göras, eller gjordes om i onödan |
| Throughput | Hur många token modellen producerar totalt | Hur länge den enskilda användaren väntar på sitt första svar |
| Kostnad per ärende | Vad ett löst ärende eller ett korrekt svar kostar | Ingenting, så länge det mäts på en verklig arbetslast |
Frågan blir viktigare för varje år. Enligt 451 Research kan inferens stå för 46 procent av utgifterna för AI-infrastruktur 2030, upp från uppskattningsvis 34 procent i år. Målet är alltså inte bara att GPU:erna ska vara upptagna. De ska vara upptagna med rätt saker.
Vad vi på Aixia kan hjälpa till med
AiQu är en viktig del, men sällan hela lösningen. Så här brukar vi arbeta:
Kartlägga användningen i dag
Vi går igenom hur er kapacitet används, var den står still och varför. Ofta finns det mer att hämta i befintlig hårdvara än man tror.
Införa AiQu i er miljö
Vi installerar och anpassar AiQu efter er organisation, med kvoter, prioriteringar och uppföljning per projekt. Plattformen kan köras i er egen infrastruktur, hos oss i ett svenskt datacenter eller i en hybridmiljö.
Dimensionera rätt från början
Vi designar, bygger och driftar beräkningsmiljöer för AI och HPC, bland annat kluster byggda på NVIDIA DGX SuperPOD. Ett exempel är samarbetet med Danish Centre for AI Innovation, organisationen bakom AI-superdatorn Gefion, där vi bidrar med arkitekturkompetens. Vi börjar alltid med vad klustret ska leverera:
| Klustrets uppgift | Mått som gäller | Vad det styr |
|---|---|---|
| Köra träning | Tid från kö till färdigt jobb | Interconnect, lagring och köprioritering |
| Ge svar i realtid | Samtidiga användare inom svarstidsmålet | Minnesbandbredd, kontextlängd och batchning |
En viss reserv kan vara helt rätt för att svarstiderna ska hålla när efterfrågan toppar. Det är inte slöseri så länge reserven är planerad.
Testa via API innan ni bygger
Vill ni hellre använda modeller via ett API erbjuder vi LLM-hosting i Sverige, med öppna modeller som debiteras per token och möjlighet till dedikerad kapacitet. Det är ett bra sätt att mäta hur volym, kontextlängd och svarstider varierar innan ni väljer mellan delad, dedikerad eller egen kapacitet.
Börja med ett test
Står ni inför nästa GPU-investering, eller misstänker ni att den kapacitet ni redan har inte används fullt ut? Gör så här:
- Välj en verklig arbetslast, inte ett benchmark.
- Kör den med den samtidighet, kontextlängd och kvalitetsnivå ni räknar med i produktion.
- Mät hur många ärenden som blir klara inom svarstidsmålet.
- Räkna ut vad varje sådant ärende kostar.
För en AI-agent kan ett ärende vara ett löst supportärende. För en intern assistent kan det vara ett korrekt svar som användaren får i tid.
Ni kan testa AiQu kostnadsfritt på aiqu.ai. Eller ta med arbetslasten till oss, så går vi igenom hur ni får ut mer av den kapacitet ni redan har innan ni bestämmer om ni behöver mer.
Källor och vidare läsning
- Gartner – Prognos för AI-infrastruktur, november 2026
- NAND Research – The Inference Economics Scorecard
- 451 Research – From Inference to Agentic AI
- vLLM – Så fungerar återanvändning av gemensam kontext
- Aixia – AiQu, plattformen för AI-infrastruktur
- Aixia – AiQu och MLOps: så stoppar du slöseriet med dyra GPU:er
- AiQu – LLM-hosting i Sverige
- AiQu – testa plattformen kostnadsfritt