In het kort
Quantisatie, ook quantization genoemd, betekent dat getallen in een AI-model met minder precisie worden weergegeven. Daardoor nemen ze minder ruimte in. Bij LLM's gaat het vaak om modelgewichten, maar ook andere berekeningen en opgeslagen tussenresultaten kunnen worden gequantiseerd. Het doel is de toepassing uitvoerbaar te maken met minder geheugen en passend rekenwerk.
Wat betekenen 16-bit, 8-bit en 4-bit?
Bits zijn de eenheden waarmee een getal wordt opgeslagen. Minder bits bieden minder mogelijke waarden. Een methode moet dus bepalen hoe de oorspronkelijke getallen worden benaderd. Een model met 4-bit gewichten is niet simpelweg vier keer zo klein als de hele 16-bit installatie: extra schaalgegevens, software en het geheugen voor de context tellen ook mee.
Een vergelijking om het te begrijpen
Denk aan het afronden van een meetwaarde van veel decimalen naar minder decimalen. Voor sommige toepassingen maakt dat nauwelijks verschil; voor andere is de verloren precisie belangrijk. Dit is een vereenvoudigde vergelijking. Quantisatie gebruikt verschillende technieken om de fout te beperken en belangrijke informatie zo goed mogelijk te behouden.
Waarom is dit nuttig bij lokale AI?
Een model dat in zijn oorspronkelijke vorm niet in het beschikbare geheugen past, kan in een andere uitvoering mogelijk wel bruikbaar worden. Dat kan de keuze aan modellen op een Mac, pc of server vergroten. Tegelijk moet je ruimte reserveren voor invoer, lopende gesprekken en de KV-cache. Alleen de bestandsgrootte zegt dus nog niet of de toepassing soepel werkt.
Wat lever je mogelijk in?
De kwaliteit kan veranderen, bijvoorbeeld bij nauwkeurige instructies, rekenen of minder voorkomende talen. Snelheidswinst is ook niet gegarandeerd: die hangt af van hardware en ondersteuning in de uitvoersoftware. Test daarom de concrete uitvoering met dezelfde vragen en documenten. Kijk vooral of fouten veranderen op de onderdelen die voor jouw werk belangrijk zijn.
Een praktische keuze maken
Leg de modelversie, quantisatie en gebruikte software vast. Vergelijk kwaliteit, geheugen en wachttijd bij het verwachte aantal gebruikers. Kies vervolgens de uitvoering die aan je eisen voldoet. Een klein bestand op zichzelf is geen doel; een stabiele toepassing met voldoende kwaliteit en capaciteit wel.
Van begrip naar praktijk
Hoe AITJE dit toepast
Bij lokale installatie vergelijken we beschikbare modeluitvoeringen met het geheugen en de rekenkracht van je apparaat. Een gequantiseerde versie kan een geschikte optie zijn, maar we beoordelen ook de kwaliteit op je eigen taken. De gekozen uitvoering, modelversie en configuratie worden vastgelegd. Zo blijft een latere wijziging meetbaar en wordt een kleiner bestand niet verward met een betere toepassing.
Installatie en inrichtingVan uitleg naar toepassing
Wil je weten wat dit voor jouw werk betekent?
