SLM vs LLM handlar om scope. En small language model (SLM) är en kompakt modell, vanligtvis under tio miljarder parametrar, som utför ett smalt definierat jobb väl på modest hårdvara. En large language model (LLM) är en betydligt större modell som hanterar öppen resonering, skrivande och kodning inom många domäner, till högre kostnad per anrop och med långsammare svar.
Vad är en small language model
En SLM är en språkmodell som är liten nog att köras på ett enda GPU, en laptop eller till och med en telefon. Typiska storlekar sträcker sig från några hundra miljoner till några miljarder parametrar. Eftersom modellen är liten kan den mindre om världen, men den kan finjusteras på din egen data för att utföra en definierad uppgift, till exempel klassificera supportärenden, extrahera fält från fakturor eller autokomplettera domänspecifik text.
Vad är en large language model
En LLM är en modell i frontskala med många tiotals eller hundratals miljarder parametrar, som vanligtvis nås via ett API. Den hanterar instruktioner den aldrig tränats för, långa dokument, flerstegsresonering och kodgenerering. Du betalar för den bredd i pris per token, svarstid och beroende av en leverantör.
Hur skiljer de sig i praktiken
| SLM | LLM | |
|---|---|---|
| Typisk uppgift | En smal, repeterbar uppgift | Öppen resonering, skrivande, kodning |
| Kostnad per anrop | Låg, ofta nära den beräkningskapacitet du redan äger | Högre, debiteras per token |
| Latens | Snabb, kan köras nära applikationen | Långsammare, nätverksroundtrip plus generering |
| Integritetspolicy | Kan köras i din egen infrastruktur | Data skickas till en leverantör om du inte kör det själv |
| Noggrannhet på okända uppgifter | Svag utanför sitt träningsfokus | Stark inom många uppgifter |
| Underhåll | Du äger finjustering, evals och hosting | Leverantören äger modellen, du äger prompts och evals |
När är en SLM ett bra val
En SLM passar när uppgiften är smal, volymen är hög och svaret går att kontrollera. Klassificering, routing, entitetsextrahering, korta sammanfattningar och funktioner på enheten är de vanliga fallen. Den passar också när data måste stanna i din egen miljö, till exempel enligt GDPR eller EU:s krav på datalagring, eftersom du kan hosta modellen själv.
När behöver du fortfarande en LLM
Du behöver en LLM när förfrågningarna varierar, när uppgiften kräver bred kunskap eller när modellen måste planera över flera steg. Kodningsagenter, forskningsassistenter och allt som hanterar oförutsägbar användarinmatning hamnar i regel här. En liten modell som misslyckas med vart femte svar kostar mer i support och omarbete än de tokens du sparade.
Kan du använda båda tillsammans
De flesta produktionssystem gör det. Ett vanligt mönster skickar varje förfrågan till en SLM först och eskalerar till en LLM när tillförlitligheten är låg eller uppgiften flaggas som komplex. En AI gateway gör denna routing enklare att hantera, eftersom den håller reglerna, loggar kostnaden per route och hanterar fallback. Kombinera routingen med evals så att du kan se om den billigare vägen fortfarande uppfyller din kvalitetsgräns.
Vad detta innebär för ditt ingenjörsteam
Att välja mellan de två är ett ingenjörsbeslut snarare än ett upphandlingsbeslut. Någon måste bygga eval-setet, mäta kvalitet per route, finjustera den lilla modellen och avgöra var ett felaktigt svar är acceptabelt. Team som hoppar över det arbetet väljer i regel den största modellen överallt och upptäcker notan senare.
Ingenjörer som arbetar på det här sättet är bekväma med evals, kostnadsuppföljning och hämtning från dag ett. Vår utvärderingsprocess placerar kandidater i en riktig kodbas under två sextio minuter långa sessioner, en med AI-verktyg avstängda och en med deras egna agenter igång, så att du ser hur de resonerar kring avvägningar som denna. Om du behöver den kompetensen i ett team, titta på AI engineers, från €5 600 i månaden för en heltidsingenjör.
Hur du beslutar snabbt
Börja med uppgiften. Skriv ned indata, förväntad utdata och hur du ska bedöma resultatet. Kör det på en LLM först för att se taket, testa sedan en mindre modell på samma exempel. Om den lilla modellen når den kvalitetsgräns du satt, flytta den routen dit och behåll LLM:en för resten. Om den inte gör det har du ett mätt skäl att stanna kvar.
Korta svar
Är en SLM billigare än en LLM?
Per förfrågan, vanligtvis ja, eftersom den kräver mindre beräkningskraft. Finjustering, driftsättning och utvärderingar tillkommer som ingenjörskostnad, så besparingen syns vid höga volymer.
Kan en SLM köra på en telefon eller laptop?
Ja, modeller med några få miljarder parametrar kan köra lokalt på enheten, vilket minskar latens och håller data lokalt.
Är SLM:er mindre noggranna än LLM:er?
För breda uppgifter, ja. För en smal uppgift de är finjusterade för kan en liten modell matcha en större.
Måste jag välja en?
Nej. Många team skickar enkla förfrågningar till en SLM och eskalerar svårare till en LLM.
