Hoeveel RAM heeft je laptop nodig om AI lokaal te draaien?

Een download van 3,4 GB met de naam qwen3.5:4b-q4_K_M (een LLM, of groot taalmodel) kan vanavond al een vraag beantwoorden op een gewone laptop met 16 GB, zonder cloudaccount. Haal het model binnen via Ollama, stel één vraag met een 4K-context, en je draait lokaal een AI-model op hardware die je al hebt. Het leest tekst en afbeeldingen, en het gaat hier om inference, niet om training: niemand leert het model iets nieuws, het geeft alleen antwoord.

Een vaag stickertje met ‘AI PC’ op een laptopdoos is geen specificatie. RAM, het geheugen dat je GPU kan gebruiken, opslag en echte softwareondersteuning zijn dat wel. 16 GB geheugen is een serieuze instap voor kleine AI-modellen: niet zo weinig dat je het meteen kunt afschrijven, maar ook geen belofte dat alles uit het specificatieoverzicht zomaar werkt. Meer geheugen geeft je meer context en meer ruimte om meerdere dingen tegelijk te doen. Met 16 GB kun je dus gewoon beginnen.

De downloadgrootte van een model en de hoeveelheid RAM die het tijdens gebruik nodig heeft, zijn twee verschillende dingen. Die door elkaar halen is veruit de meest gemaakte fout bij het kiezen van een laptop voor AI. Die 3,4 GB die je downloadt voor qwen3.5:4b-q4_K_M is alleen het bestand op schijf. Om het te laden heb je echt geheugen nodig. Dat geldt ook voor het contextvenster, het lopende gesprek dat het model tijdens het antwoorden vasthoudt, de zogeheten KV-cache. En ook de engine zelf gebruikt geheugen, net als je besturingssysteem en andere apps die al openstaan.

Ollama laadt standaard een context van 4.096 tokens, en je kunt die verhogen. Draai je meerdere verzoeken tegelijk, dan groeit het benodigde contextgeheugen grofweg mee met het aantal parallelle verzoeken. In de specificaties van een model zie je soms een contextvenster van 128K of 256K tokens. Zie dat als het maximum van het model, niet als een belofte dat je laptop met 16 GB alles daarvan tegelijk aankan.

Apple Silicon-chips gebruiken unified memory: CPU en GPU putten uit dezelfde pool van 16, 24 of 32 GB, dus er is geen apart grafisch geheugen dat eerst volloopt. Een gewone Windows- of Linux-laptop met een aparte NVIDIA-GPU werkt anders. Systeem-RAM en het eigen VRAM van de GPU zijn twee losse geheugens, en 16 GB systeem-RAM plus een GPU van 8 GB is dus niet één vrije pool van 24 GB waar een model zomaar gebruik van maakt.

Past een model niet volledig op de GPU, dan draait een deel via de CPU. Die gedeeltelijke offload kan ervoor zorgen dat een model technisch wel laadt, maar merkbaar trager reageert. Met zie je precies hoe die CPU/GPU-verdeling eruitziet voor wat er op dat moment geladen is.

Capaciteit is maar de helft van het verhaal. Hoe snel dat geheugen data verplaatst, is minstens zo belangrijk: Apple noemt 153 GB/s geheugenbandbreedte voor de MacBook Air M5, en juist die bandbreedte is een echte reden waarom unified memory vlot aanvoelt in plaats van alleen nét voldoende.

Quantisatie verklaart die download van 3,4 GB: door de gewichten van een model met een lagere numerieke precisie op te slaan, wordt het bestand kleiner. Bij Qwen3.5 zie je dat goed terug in het 9B-model. Datzelfde 9B-model download je als 6,6 GB in Q4_K_M, als 11 GB in Q8_0 en als 19 GB in volledige BF16-precisie. Het gaat steeds om hetzelfde model, met hetzelfde aantal parameters, maar met drie heel verschillende downloadgroottes. En opnieuw: dat is de bestandsgrootte, niet de hoeveelheid RAM die tijdens gebruik nodig is.

Lagere precisie kost meestal wat kwaliteit, maar hoeveel dat uitmaakt hangt af van de taak, niet van een vast percentage. Nog iets goed om te weten voordat je Qwen als eerste model kiest: sommige gebruikers melden dat de ‘thinking’-stap merkbare vertraging toevoegt voordat er een antwoord verschijnt, vergeleken met modellen die directer reageren. Het loont dus om beide stijlen op je eigen taken te proberen, in plaats van ervan uit te gaan dat één variant gewoon beter is.

Laptop-GPU’s van NVIDIA delen hun naam met desktopkaarten, maar die naam zegt minder dan je denkt. De RTX 5060 Laptop GPU heeft 8 GB GDDR7-geheugen en een opgegeven vermogensbereik van 45 tot 100 watt. De RTX 5070 Ti Laptop GPU heeft 12 GB GDDR7 en 60 tot 115 watt. Een online resultaat voor een desktop-RTX 5070 Ti zegt dus niets betrouwbaars over een laptop met RTX 5070 Ti, hoe sterk die namen ook op elkaar lijken.

Er zit nog een tweede valkuil in diezelfde naam. Twee laptops kunnen allebei een ‘RTX 5070 Ti Laptop GPU’ hebben en onder langdurige belasting toch verschillend presteren: een dunne, lichte behuizing en een dikkere, zwaardere laptop voeren warmte anders af, en dezelfde GPU-naam garandeert dus niet dezelfde snelheid in de praktijk zodra de ventilatoren al een tijdje draaien. Controleer altijd de exacte hoeveelheid VRAM en de stroomconfiguratie van de laptop zelf, niet alleen de naam van de GPU-familie.

De Ryzen AI Max+ 395 van AMD ondersteunt tot 128 GB LPDDR5x-systeemgeheugen, afhankelijk van hoe de uiteindelijke laptop is geconfigureerd. Dat is een andere geheugenarchitectuur die interessant genoeg is om mee te nemen, maar er zit een duidelijke kanttekening aan: in de Linux-ROCm-ondersteuningslijst van Ollama staat deze chip wel, in de huidige Windows-ROCm-lijst niet.

Dat is geen reden om de chip meteen af te schrijven, maar wel om bij een specifieke laptop eerst het exact geïnstalleerde geheugen, het besturingssysteem, de GPU-back-end, de driver en het gedrag van Ollama te controleren voordat je hem aanbeveelt. Zie een AMD-laptop met veel geheugen daarom als een interessant alternatief dat zorgvuldig onderzoek vraagt, niet als de automatische eerste keuze voor iemand die net begint met AI lokaal draaien.

Ollama is de eenvoudigste manier om een model op je eigen machine aan de praat te krijgen: haal een model binnen, start het en je hebt een lokale server die verzoeken beantwoordt, zonder cloudaccount voor een gedownload model. Het is de tool achter alle voorbeelden hier.

LM Studio biedt een grafisch alternatief met een eigen modelbrowser en chatvenster. Het noemt ook zijn eigen minimumeisen: minimaal 16 GB RAM op Mac of Windows, AVX2-ondersteuning vereist op Windows x64 en 4 GB aparte VRAM aanbevolen op Windows. Beide tools goed instellen is weer een onderwerp op zich.

Nog één kanttekening voordat je één snelheidsgetal op internet vertrouwt: de officiële tool llama-bench maakt onderscheid tussen de snelheid van promptverwerking en de snelheid van generatie, en laat ook zien hoeveel variatie er is tussen herhaalde tests in plaats van maar één getal te geven. Een forumbericht met één waarde voor tokens per seconde vertelt zelden welke van die twee is gemeten, of hoe vaak de test is herhaald.

Koop of upgrade je specifiek voor lokale AI, kijk dan naar de details in plaats van naar de marketing.

Exact GPU-model en hoeveelheid VRAM. Niet alleen de naam van de GPU-familie, maar de precieze laptopvariant en de eigen geheugencapaciteit, want achter dezelfde naam kan verschillende VRAM schuilgaan.

Vastgesoldeerd of uitbreidbaar RAM. Bij sommige laptops kun je later geheugen toevoegen, bij veel moderne dunne en lichte modellen niet. Weet dus wat je koopt.

Vrije SSD-opslag. Modeldownloads lopen van minder dan 1 GB tot ruim boven de 10 GB, en een groeiende verzameling tikt snel aan naast je andere bestanden.

Thermisch gedrag bij langdurige belasting. Een model dat één vraag beantwoordt en een laptop die meerdere verzoeken achter elkaar verwerkt, zijn twee verschillende tests. Ventilatorgeluid en throttling na herhaalde prompts zeggen meer dan een korte demo.

Ondersteuning van OS en drivers. Controleer of jouw exacte combinatie van GPU-back-end en besturingssysteem door Ollama of LM Studio wordt ondersteund voordat je ervan uitgaat dat het werkt.

Het TOPS-getal van de NPU op de doos is geen garantie voor doorvoersnelheid. Het is een marketingcijfer, geen getest resultaat van de engine die jij gaat gebruiken. Een vaag label als ‘AI PC’ vervangt geen enkele controle hierboven.

Heb ik een aparte GPU nodig om AI lokaal te draaien?

Nee. Een klein model draait op veel laptops met 16 GB via de CPU of geïntegreerde graphics, alleen met meer verschil in snelheid dan op een laptop met een aparte GPU. Begin met een model van 2-4B voordat je ervan uitgaat dat je aparte graphics nodig hebt.

Werkt 8 GB RAM ook?

Niet comfortabel voor de modellen die hier aan bod komen. 16 GB is het realistische startpunt zodra je rekening houdt met het model, het contextvenster, de engine en je besturingssysteem, die allemaal hetzelfde geheugen delen.

Is een model lokaal draaien hetzelfde als het trainen?

Nee. Alles hierboven gaat over inference: vragen stellen aan een model dat al getraind is. Training bouwt een model vanaf nul op en vraagt veel meer hardware dan welke laptop hier ook biedt.

Geeft meer RAM gegarandeerd snellere antwoorden?

Nee. Meer geheugen geeft speelruimte voor grotere modellen, langere context en meer open apps, maar de echte snelheid hangt af van geheugenbandbreedte, de GPU-back-end en het specifieke model, niet alleen van de hoeveelheid geheugen.

Blijven mijn gegevens privé als een model lokaal draait?

Ja, in die zin dat je prompts op je eigen machine blijven in plaats van naar een cloudprovider te gaan. Ollama luistert standaard alleen op je eigen laptop en verstuurt nergens anders verzoeken naartoe, tenzij je zelf bewust cloudtoegang instelt.