Så får ni mer nytta av varje GPU-timme

En GPU som står oanvänd kostar lika mycket som en som arbetar. Ändå är det precis så det ser ut i många miljöer. Hos många organisationer som har investerat i AI-infrastruktur ligger det genomsnittliga GPU-utnyttjandet under 30 procent, och branschmätningar av molnmiljöer har visat siffror ner mot några enstaka procent. Kapaciteten finns, men den kommer inte till nytta. När Gartner i sin novemberprognos räknar med att de globala utgifterna för AI-infrastruktur landar på 1 563 miljarder dollar under 2026 blir det en dyr vana.

Varför GPU:erna står still

Låg användning beror sällan på att behovet saknas. Oftast handlar det om hur kapaciteten är fördelad:

  • GPU:erna är knutna till ett visst team eller en viss person och står tomma när de inte används just där.
  • Jobb begär fler GPU:er än de behöver, för säkerhets skull.
  • Det finns ingen gemensam kö, så den som har fått kapacitet håller fast vid den.
  • Interaktiva miljöer som Jupyter håller kvar GPU:er långt efter att arbetet är klart.
  • Ingen kan se vem som använder vad, och då kan ingen heller göra något åt det.

Resultatet blir att utvecklarna väntar på kapacitet samtidigt som GPU:erna står oanvända. Det är det problemet vi byggde AiQu för att lösa.

Så hjälper AiQu till att få upp användningen

AiQu är Aixias svenskutvecklade plattform för att dela, schemalägga och följa upp AI-kapacitet. I stället för att varje team har sina egna GPU:er samlas resurserna i en gemensam pool som alla kan använda.

En gemensam kö i stället för egna GPU:er

AiQu fördelar jobben på de GPU:er som är lediga utifrån prioritet, kötid och resursbehov. När ett team inte använder sin kapacitet kan någon annan göra det.

Kvoter och prioritering

Projekt och användare kan tilldelas kvoter för hur många GPU:er de får använda, vilka typer och med vilken prioritet. Då går det att dela kapacitet utan att det viktigaste projektet hamnar sist i kön.

Rätt storlek på varje jobb

AiQu kan föreslå hur många GPU:er ett jobb faktiskt behöver och fylla klustret automatiskt enligt de regler ni sätter upp. Det minskar både överallokering och jobb som väntar i onödan.

Synlighet per projekt

Administratörer kan följa GPU-timmar och kostnad per projekt och användare, och hur utnyttjandet varierar över tid. Då blir det tydligt vilka projekt som använder kapaciteten, när belastningen uppstår och var det finns ledigt utrymme. Det gör också AI-satsningen lättare att motivera internt.

En plattform för all hårdvara

AiQu kan schemalägga jobb på GPU:er från NVIDIA, AMD och Intel, på CPU och på edge-enheter, i egen infrastruktur, i molnet eller i en hybridmiljö. Ni kan alltså använda den kapacitet ni redan har, oavsett var den står.

Snabbt igång, med kontroll

Färdiga containrar med PyTorch, TensorFlow och Jupyter gör att utvecklarna kommer igång direkt, och allt går att styra via API, CLI och Terraform. Användarna är separerade från beräkningsresurserna, med rollstyrning och loggning, vilket underlättar när känsliga data ska hanteras.

AiQu används bland annat av en svensk region som grund för dess AI-satsning inom hälso- och sjukvård.

Hög användning är inte hela svaret

Det finns en fälla att se upp med. Även en GPU som går för fullt kan slösa pengar, om en stor del av arbetet består i att räkna om sådant den redan har räknat ut.

Tänk dig en AI-assistent som hjälper en servicetekniker att felsöka en maskin. Varje gång teknikern ställer en följdfråga läser assistenten samma servicehandbok, samma instruktioner och nästan hela samma dialog. Om inferensmotorn bearbetar om allt det från början går GPU-tid åt innan modellen ens har börjat formulera nästa svar. Utnyttjandet ser bra ut, men teknikern får vänta.

Om motorn i stället återanvänder den del av kontexten som redan är beräknad kommer svaret snabbare, och samma hårdvara räcker till fler användare. Moderna ramverk för inferens, som NVIDIA Dynamo, bygger just på den principen. De kan leverera fler svar inom samma svarstid utan att utnyttjandesiffran rör sig alls.

Därför behöver GPU-utnyttjande kompletteras med andra mått, särskilt för inferens. NAND Research och WEKA har tagit fram ett Inference Economics Scorecard, som presenterades på SC26. Det väger in hur mycket användbar produktion infrastrukturen levererar i förhållande till effekt, rackutrymme och kostnad.

Mått Vad det visar Vad det inte säger
GPU-utnyttjande Hur hårt GPU:n arbetar just nu Om arbetet behövde göras, eller gjordes om i onödan
Throughput Hur många token modellen producerar totalt Hur länge den enskilda användaren väntar på sitt första svar
Kostnad per ärende Vad ett löst ärende eller ett korrekt svar kostar Ingenting, så länge det mäts på en verklig arbetslast

Frågan blir viktigare för varje år. Enligt 451 Research kan inferens stå för 46 procent av utgifterna för AI-infrastruktur 2030, upp från uppskattningsvis 34 procent i år. Målet är alltså inte bara att GPU:erna ska vara upptagna. De ska vara upptagna med rätt saker.

Vad vi på Aixia kan hjälpa till med

AiQu är en viktig del, men sällan hela lösningen. Så här brukar vi arbeta:

Kartlägga användningen i dag

Vi går igenom hur er kapacitet används, var den står still och varför. Ofta finns det mer att hämta i befintlig hårdvara än man tror.

Införa AiQu i er miljö

Vi installerar och anpassar AiQu efter er organisation, med kvoter, prioriteringar och uppföljning per projekt. Plattformen kan köras i er egen infrastruktur, hos oss i ett svenskt datacenter eller i en hybridmiljö.

Dimensionera rätt från början

Vi designar, bygger och driftar beräkningsmiljöer för AI och HPC, bland annat kluster byggda på NVIDIA DGX SuperPOD. Ett exempel är samarbetet med Danish Centre for AI Innovation, organisationen bakom AI-superdatorn Gefion, där vi bidrar med arkitekturkompetens. Vi börjar alltid med vad klustret ska leverera:

Klustrets uppgift Mått som gäller Vad det styr
Köra träning Tid från kö till färdigt jobb Interconnect, lagring och köprioritering
Ge svar i realtid Samtidiga användare inom svarstidsmålet Minnesbandbredd, kontextlängd och batchning

En viss reserv kan vara helt rätt för att svarstiderna ska hålla när efterfrågan toppar. Det är inte slöseri så länge reserven är planerad.

Testa via API innan ni bygger

Vill ni hellre använda modeller via ett API erbjuder vi LLM-hosting i Sverige, med öppna modeller som debiteras per token och möjlighet till dedikerad kapacitet. Det är ett bra sätt att mäta hur volym, kontextlängd och svarstider varierar innan ni väljer mellan delad, dedikerad eller egen kapacitet.

Börja med ett test

Står ni inför nästa GPU-investering, eller misstänker ni att den kapacitet ni redan har inte används fullt ut? Gör så här:

  • Välj en verklig arbetslast, inte ett benchmark.
  • Kör den med den samtidighet, kontextlängd och kvalitetsnivå ni räknar med i produktion.
  • Mät hur många ärenden som blir klara inom svarstidsmålet.
  • Räkna ut vad varje sådant ärende kostar.

För en AI-agent kan ett ärende vara ett löst supportärende. För en intern assistent kan det vara ett korrekt svar som användaren får i tid.

Ni kan testa AiQu kostnadsfritt på aiqu.ai. Eller ta med arbetslasten till oss, så går vi igenom hur ni får ut mer av den kapacitet ni redan har innan ni bestämmer om ni behöver mer.

Kontakta oss för en genomgång av er arbetslast

Latest News

Så får ni mer nytta av varje GPU-timme

GPU-utnyttjandet ligger ofta under 30 procent. AiQu samlar kapaciteten i en gemensam pool, och tre mått visar vad infrastrukturen faktiskt…
Läs mer
Produktionslinje för plastfilm med inline-kamerainspektion, en tekniker granskar kvalitetsdata på en skärm

AI i kvalitetskontrollen: så minskade Trioworld materialsvinn i produktionen

Hur kan AI förbättra kvalitetskontrollen i produktion? Läs om Aixias samarbete med Trioworld och vad tillverkare bör tänka på innan…
Läs mer

Palo Alto Prisma AIRS passerar 100 MUSD ARR: AI-säkerhet har blivit affärskritiskt

Prisma AIRS passerade 100 MUSD i ARR på fyra kvartal, och Palo Alto bygger nu ut skyddet till utvecklarnas datorer….
Läs mer
Kundserviceagent vid dubbla skärmar som visar kundärende och orderuppslag i ett AI-stött gränssnitt.

AI-agenten löste kundärendet. Vad kostade det?

En AI-agent svarar kunden på sekunder. Men varje steg i kedjan kostar. Gartner räknar med att kostnaden per agentiskt arbetsflöde…

Läs mer