Pillar · Publiceret 2026-05-27 · 16 min læsetid

Open source AI for SMVer

Indtil for to år siden var open source AI noget ledere kunne overse uden at miste konkurrencefordel. Cloud-modellerne (GPT, Claude, Gemini) var markant stærkere. Det har ændret sig. I 2026 er Llama 3.3 70B konkurrencedygtig med GPT-4 på de fleste benchmarks, Mistral Large 2 er stærk på dansk, og Qwen 3 fra Alibaba er overraskende stærk på struktureret data. Det rejser et reelt valg for vidensintensive SMVer: hvornår giver self-hosted bedre mening end cloud? Denne pillar gennemgår hvornår det er værd at overveje, hardware-krav, omkostnings-sammenligning, og hvordan hybrid-stack typisk er det rette svar.

Skrevet af Jesper Sachmann, grundlægger af EnterpriseIQ. Driver hele EnterpriseIQ på en hybrid-stack med self-hosted Llama plus Claude og GPT i routing-flow. Vores stack er åbent dokumenteret på /ai-stack.

TL;DR
  • →Open source AI (Llama 3.3 70B, Mistral Large 2) er konkurrencedygtigt nok i 2026 til de fleste SMV-use cases.
  • →Tre triggers gør self-hosted relevant: data-suverænitet, omkostning over 5 tkr/md, compliance-positionering.
  • →Hardware: én server med 2x RTX 4090 dækker 5 til 20 samtidige brugere på Llama 3.3 70B. Pris 60 til 90 tkr.
  • →3-årig TCO: self-hosted vinder ved over 5 tkr/md cloud-forbrug. Under det vinder cloud.
  • →Hybrid-stack er typisk det rette: self-hosted til klient-fortrolige opgaver, cloud til strategi og research.

Hvorfor open source AI er reelt i 2026

Argumentet for at ignorere open source AI har i mange år været det samme. Cloud-modellerne var markant stærkere, og forskellen var stor nok til at retfærdiggøre data-eksponering og månedlig betaling til OpenAI eller Anthropic. Det argument er nu nuanceret.

Llama 3.3 70B (frigivet af Meta) leverer på benchmarks omkring GPT-4-niveau på almindelige opgaver: sammenfatning, klassificering, oversættelse, udkast-generering. På komplekse strategi-overvejelser og kodning er Claude Opus 4.7 og GPT-5 stadig klart foran, men på 70 til 80 procent af det typiske SMV-arbejde er gabet ikke længere afgørende.

Samtidig er hardware-omkostningerne faldet. NVIDIA RTX 4090 (24GB VRAM) koster 18 til 22 tkr og kan køre Llama 3.3 70B i 4-bit-kvantiseret form med acceptabel performance. To kort i samme server dækker 5 til 20 samtidige brugere. For en SMV med 30 til 100 medarbejdere er det realistisk hardware-niveau.

Endelig: EU AI Act og GDPR har gjort data-suverænitet til et reelt compliance-argument. Klient-fortrolige data der sendes til amerikanske cloud-leverandører kræver mere dokumentation og risk-styring end data der bliver i jeres egen Proxmox-host. For advokater, revisorer og finansrådgivere er det forskellen mellem "vi bruger AI med fuld kontrol" og "vi bruger AI, og her er DPA'en".

Tre triggers der gør self-hosted relevant

Det er ikke alle SMVer der bør køre self-hosted AI. Tre situationer gør det værd at overveje. Hvis ingen af dem trigger for jer, så start med cloud og kom tilbage til spørgsmålet om 12 måneder.

Trigger 1: Højtfølsomme data

Klient-fortrolige sager (advokat-sager, revisionssager, finansielle planer), persondata, eller andet der falder under GDPR Art. 9 (særlige kategorier) eller branche-fortroligheds-regler. Hvis de data ikke må forlade jeres infrastruktur uden eksplicit klient-godkendelse, er self-hosted typisk det rette valg for de specifikke use cases.

Nuance: cloud-AI med EU-residency og dokumenteret DPA (Claude Enterprise, Microsoft Copilot for M365 Enterprise) kan ofte opfylde kravene. Self-hosted er bare lettere at dokumentere og audit.

Trigger 2: Cloud-omkostning over 5 tkr/md

Hvis jeres cloud-AI-omkostning passerer 5 tkr/md (60 tkr/år), begynder self-hosted at være økonomisk konkurrencedygtigt på en 3-årig horisont. Hardware-investering 80 tkr + drift 15 tkr/år + el 12 tkr/år lander typisk på 150 tkr over 3 år, mod 180 til 290 tkr cloud i samme periode.

Bemærk: omkostnings-tal er ikke det eneste der tæller. Self-hosted kræver IT-kompetence I skal have eller købe. Hvis I ikke har det, så er cloud økonomisk klart bedre selv ved højere brug.

Trigger 3: Compliance-positionering

Hvis jeres kunder eksplicit spørger om data-suverænitet, eller branche-standarder kræver dokumenteret on-premise behandling (visse offentlige kunder, finansielle institutioner med tunge reguleringer), så er self-hosted en del af jeres go-to-market-fortælling, ikke bare en intern operationel beslutning.

Eksempel: en advokat-virksomhed der byder på rammeaftaler med ministerier eller forsvarets leverandører kan have brug for at dokumentere at klient-data behandles on-premise.

Hvis nul triggers er aktive: bliv på cloud. Hvis én trigger er aktiv: overvej hybrid-stack (cloud + selektivt self-hosted til de specifikke arbejdsgange). Hvis to eller flere er aktive: hybrid-stack med tyngde på self-hosted er typisk det rette.

Model-landskab 2026

Tre model-familier dækker 95 procent af SMV-behovet. De er alle open weights og kan køres lokalt.

Llama 3.3 (Meta)

Tre størrelser: 8B (let, hurtig, kører på en RTX 4090), 70B (default-valg, kræver 2x RTX 4090), 405B (kun for store organisationer med dedikeret GPU-cluster). 70B er det rette default for SMVer.

Stærk på: engelsk, sammenfatning, klassificering, kode. Svagere på: nuanceret dansk, kompleks ræsonnering. Licens: Llama 3 Community License (kommerciel brug ok for SMV med under 700M månedlige aktive brugere, dvs. ingen reel begrænsning).

Mistral Large 2 og Mixtral 8x22B (Mistral AI, Frankrig)

Mistral Large 2 er proprietær men kan licens-køres on-premise via Mistral Enterprise. Mixtral 8x22B er open weights og kan køres frit. Begge er stærke på europæiske sprog, inkl. dansk.

Stærk på: multi-sprog (dansk niveau godt), retlig sprogbrug, finansiel terminologi. EU-baseret leverandør hvilket forenkler compliance-fortælling. Licens: Mixtral er Apache 2.0 (fri kommerciel brug).

Qwen 3 (Alibaba)

Tre størrelser: 7B, 32B, 72B. 32B er sweet-spot for performance/hardware-balance. Open weights under Apache 2.0.

Stærk på: struktureret data, kode, matematisk ræsonnering. Svagere på: kreativ tekstgenerering. Politisk nuance: kinesisk leverandør, hvilket nogle kunder vil opfatte som risiko. For tekniske use cases (IT-service, data-analyse) er det ofte ikke et issue. Verificér med kunde hvor det er relevant.

Anbefaling for SMV-start: Llama 3.3 70B som default-valg. Tilføj Mixtral 8x22B hvis dansk-kvalitet er kritisk for jeres use case. Tilføj Qwen 3 32B hvis I har tunge struktureret-data eller kode-use cases.

Hardware-setup og omkostnings-sammenligning

Hardware-kravene er ikke længere ekstremt. En realistisk SMV-stack ser sådan ud.

Server-spec (SMV-niveau, 5 til 20 samtidige brugere):

CPU: AMD Ryzen 9 7950X eller Intel Core i9-14900K

RAM: 128GB DDR5

GPU: 2x NVIDIA RTX 4090 (24GB VRAM hver), i alt 48GB VRAM

Storage: 2TB NVMe SSD (modeller + cache)

Strømforsyning: 1600W

OS: Proxmox VE 8 med GPU-passthrough til LXC

Software-stack: Ollama eller vLLM + OpenWebUI + n8n + Qdrant + Langfuse

Indkøbspris: 60 til 90 tkr inkl. moms

Strømforbrug: 400 til 700W under last, 100W idle. Cirka 12 tkr/år på el ved typisk SMV-brug.

Drift-omkostning: 4 til 8 timer/md af én IT-person, hvilket er 15 til 25 tkr/år hvis kontant-værdsat.

3-årig TCO-sammenligning

For en SMV med 15 brugere, moderat brug (typisk arbejdsplads med AI-augmenteret hverdag):

Cloud (Claude Team, 15 seats):

Pris: 215 kr/seat/md × 15 = 3.225 kr/md = 38,7 tkr/år

3-år total: cirka 116 tkr

Cloud (Claude Enterprise, 15 seats):

Pris: typisk 350 til 500 kr/seat/md × 15 = 5.250 til 7.500 kr/md

3-år total: 189 til 270 tkr

Self-hosted (server + drift):

År 1: 80 tkr (server) + 12 tkr (el) + 20 tkr (drift) = 112 tkr

År 2: 12 tkr + 20 tkr = 32 tkr

År 3: 12 tkr + 20 tkr = 32 tkr

3-år total: cirka 176 tkr

Forskellen er ikke dramatisk. På 3-årig horisont er Claude Team marginalt billigere end self-hosted, men kun for ikke-fortrolige use cases. Hvis I skal til Claude Enterprise (for DPA og data-handling), bliver self-hosted markant billigere. Plus: I får data-suverænitet og kan bruge stacken til opgaver der ellers var udelukket.

Hybrid-stack: bedste fra to verdener

For de fleste vidensintensive SMVer er svaret ikke "cloud" eller "self-hosted". Det er hybrid. I bruger BÅDE, og hver opgave routes til det rette værktøj baseret på data-følsomhed.

Typisk hybrid-routing-regel:

Routes til self-hosted Llama 3.3 70B:

- Klient-fortrolige sager (kontrakt-review, revisionsnotater)

- Persondata under GDPR Art. 9

- Interne strategiske dokumenter med høj fortrolighed

- Klient-specifik analyse hvor data ikke må forlade infrastruktur

Routes til Claude Opus 4.7 eller GPT-5:

- Generel research uden fortrolige data

- Komplekse strategi-overvejelser (modellen er stærkere)

- Kode-assistance på ikke-proprietær kode

- Marketing-tekst, kommunikations-udkast uden fortrolige detaljer

Routing kan håndteres af n8n eller en custom router-agent. Brugeren behøver ikke vide hvilken model der bruges. De ser bare ét chat-interface (OpenWebUI), og routing sker bag kulisserne baseret på opgave-type, dokument-følsomhed eller eksplicit valg.

EnterpriseIQ kører selv på en hybrid-stack: Llama 3.3 70B til klient-arbejde, Claude Opus 4.7 til strategi og denne pillar, Perplexity til research. Se /ai-stack for detaljer.

Branche-eksempler

Advokat-virksomhed: kontrakt-review med fuld fortrolighed

Self-hosted Llama 3.3 70B + OpenWebUI til kontrakt-review og klient-noter. Cloud Claude Opus til intern strategisk research og medarbejder-meddelelser. Resultat: klient-data forlader aldrig Proxmox-host, mens advokaten stadig har topmoderne AI til strategi-overvejelser.

Revisorhus: regnskabs-analyse med data-suverænitet

Self-hosted Qwen 3 32B (stærk på struktureret data) + Mixtral 8x22B (dansk kvalitet) til revisionsnotater og materielitets-vurdering. Cloud GPT-5 til generel faglig research og publikations-arbejde. Audit-trail bevares i Langfuse på samme Proxmox-host som modellerne.

Finansrådgivning: portfolio-analyse med GDPR Art. 9-data

Self-hosted Mixtral 8x22B til portfolio-rapporter og klient-kommunikation (persondata + finansielle detaljer). Cloud Claude Opus til markedsanalyse og strategiske overvejelser uden klient-data. Compliance-positionering: kunden kan se i DPA at deres data ikke forlader rådgivnings-firmaets infrastruktur.

IT-service: kode-assistance og knowledge base

Self-hosted Qwen 3 32B (stærk på kode) + Llama 3.3 70B (general) til kunde-specifik kode-assistance og intern knowledge base over alle support-tickets. Cloud Claude til kompleks arkitektur-rådgivning. Kunde-fortrolige systemnavne og credentials forlader aldrig stacken.

Syv typiske faldgruber

Faldgrube 1: Self-hosted uden IT-kompetence

SMVer der køber server og prøver at drifte uden Linux-erfaring eller GPU-management-viden. Resultat: instabil drift, frustrerede brugere, hurtigt tilbage til cloud. Fix: enten har I IT-kompetencen internt, eller I outsourcer drift (EnterpriseIQ-retainer eller anden managed service). Self-hosted er ikke "billigere" hvis det ender med IT-kaos.

Faldgrube 2: Tror open source = gratis

Modellerne er gratis at downloade, men hardware, el, drift og opgraderinger er ikke. Total cost of ownership for en self-hosted SMV-stack lander på 120 til 180 tkr på år 1 inkl. hardware-investering. Det er rimeligt sammenlignet med cloud, men det er ikke gratis.

Faldgrube 3: Ignorerer model-opdaterings-cyklus

Open source-modeller opdateres hver 3 til 6 måned med betydelige forbedringer. Self-hosted stacks der ikke vedligeholdes falder hurtigt bagud cloud-konkurrenter. Fix: skemalæg model-opdatering hver 3 til 6 måned som del af drift-arbejdet. Test ny model mod baseline før udskiftning i produktion.

Faldgrube 4: Forventer cloud-paritet på første generation

Self-hosted Llama 3.3 70B er ikke 100 procent ligeglod med Claude Opus 4.7. På komplekse opgaver mister I cirka 10 til 25 procent kvalitet. Fix: hybrid-stack hvor self-hosted bruges hvor data-suverænitet er afgørende, cloud bruges hvor topmoderne kvalitet er afgørende.

Faldgrube 5: Ingen audit-trail

Self-hosted giver fuld kontrol over logs, men kun hvis I aktivt opsætter dem. Langfuse eller custom Prometheus/Grafana skal etableres fra dag et. Ellers ender I med "vi har self-hosted AI" men ingen evidens for EU AI Act-audit. Fix: audit-trail er del af pilot-canvasen, ikke noget der tilføjes senere.

Faldgrube 6: GPU-køb før model-test

SMVer der køber server med 2x RTX 4090 baseret på blog-anbefalinger uden at have testet at modellerne faktisk leverer på deres use cases. Fix: kør pilot på cloud først (eller på et lejet GPU-instance hos Lambda Cloud / RunPod) i 2 til 4 uger. Beslut self-hosted-investering på basis af verificeret use case-værdi.

Faldgrube 7: Tror self-hosted alene løser compliance

EU AI Act kræver inventory, risk-classification, audit-trail og governance-policy uanset om I bruger cloud eller self-hosted. Self-hosted simplificerer noget af dokumentationen, men erstatter ikke compliance-arbejdet. Fix: self-hosted er en del af compliance-strategien, ikke hele strategien.

Tre skridt I kan tage i denne måned

Skridt 1: Vurdér jeres trigger-status

  • Identificér jeres top-5 AI-use cases. Hvor mange involverer klient-fortrolige eller persondata?
  • Estimér jeres cloud-AI-omkostning hvis I rullede AI ud til hele teamet. Passere I 5 tkr/md?
  • Har I kunder der spørger om data-suverænitet eller branche-standarder der kræver det?
  • Nul triggers: bliv på cloud. Én eller flere: gå videre til Skridt 2.

Skridt 2: Pilot på lejet GPU-cloud

  • Lej en GPU-instance hos Lambda Cloud eller RunPod (cirka 1.500 til 3.000 kr for 2 ugers test).
  • Opsæt Llama 3.3 70B + Ollama + OpenWebUI på instancen.
  • Test 3 til 5 af jeres faktiske use cases. Sammenlign output med Claude eller GPT.
  • Beslut: er kvaliteten god nok til at retfærdiggøre on-premise-investering?

Skridt 3: Hardware-investering ELLER managed self-hosted

  • Hvis pilot lykkedes og I har IT-kompetencen: invester i server (60 til 90 tkr), opsæt Proxmox + Ollama-stack, kør de prioriterede use cases on-premise.
  • Hvis pilot lykkedes men I mangler IT-kompetence: bestil managed self-hosted via EnterpriseIQ-retainer (vi driver hardware + drift, I betaler månedlig fast pris).
  • Hvis pilot ikke lykkedes: bliv på cloud, kom tilbage om 6 til 12 måned når modeller har udviklet sig.

FAQ

Hvornår giver self-hosted AI mening?

Tre triggers: højtfølsomme data der ikke må forlade infrastruktur, cloud-omkostning over 5 tkr/md, eller compliance-positionering der kræver data-suverænitet. Nul triggers: bliv på cloud.

Hvilke open source-modeller er gode nok i 2026?

Llama 3.3 70B (default), Mistral Large 2 eller Mixtral 8x22B (stærk på dansk), Qwen 3 32B (struktureret data og kode). Alle på cirka GPT-4-niveau på almindelige opgaver.

Hvad koster det?

Server 60 til 90 tkr + 12 tkr/år el + 15 til 25 tkr/år drift. 3-årig TCO cirka 150 til 180 tkr. Break-even mod Claude Team ved cirka 5 tkr/md cloud-forbrug.

Hvad er hybrid-stack?

Brug BÅDE self-hosted og cloud. Klient-fortrolige opgaver routes til self-hosted Llama. Strategi og research routes til Claude Opus eller GPT-5. n8n håndterer routing baseret på data-følsomhed.

Hvor svært er det at drifte?

Kræver Linux-server-drift, GPU-management, model-opdateringer. 4 til 8 timer/md hvis I har kompetencen. Hvis ikke: outsourcing via managed self-hosted (EnterpriseIQ-retainer) eller bliv på cloud.

Erstatter self-hosted EU AI Act-compliance-arbejde?

Nej. EU AI Act kræver inventory, risk-classification og governance uanset deployment. Self-hosted forenkler audit-trail-dokumentation, men erstatter ikke compliance-arbejdet.

Næste skridt

Tre veje afhængigt af hvor I står:

Gratis

Se vores AI-stack

Åbent dokumenteret hybrid-stack. Vi viser hvordan vi selv kører på Llama plus Claude plus GPT i routing-flow.
80 til 150 tkr

Self-hosted pilot

4 til 6 uger leverance: hardware-anbefaling, opsætning, pilot på jeres prioriterede use case, plus 30-dages måleperiode.
Gratis

30 min samtale

Uforpligtende. Vi gennemgår jeres trigger-status og vurderer om self-hosted, cloud eller hybrid er det rette for jer.

Om forfatteren

Jesper Sachmann er grundlægger af EnterpriseIQ. 27 års IT-lederskab fra Oracle, Logica og Capgemini plus 11 års Archer-baggrund som Alliance Director Europe og Integrated Risk Management Lead Nordics, kombineret med hands-on self-hosted AI på Proxmox siden 2023. Hele EnterpriseIQ kører på en hybrid-stack med self-hosted Llama plus cloud-modeller i routing-flow.

AI-attribution: Denne artikel er AI-assisteret produceret med Claude Opus 4.7, menneskelig review af Jesper Sachmann. Se vores AI-transparenspolitik for hvordan vi bruger AI i alle leverancer.

Citerer du denne artikel? "EnterpriseIQ: Open source AI for SMVer (2026-05-27)" eller link til enterpriseiq.dk/indsigt/open-source-ai-smv.