De lengte van vragen aan AI en de antwoorden wordt in tokens geteld. Het aantal tokens bepaalt de kosten en hoeveel informatie het model tegelijk kan verwerken.
What does this mean in practice?
Tokens zijn kleine stukjes tekst, zoals delen van woorden, hele woorden of tekens. Een AI-model knipt tekst in tokens voordat het die verwerkt. De lengte van een vraag, de context en het antwoord worden in tokens gemeten. Een Nederlands woord bestaat vaak uit meer dan één token.
Why does this matter for your business?
Het aantal tokens bepaalt wat het kost om AI via een API te gebruiken. Het bepaalt ook hoeveel informatie het model tegelijk kan ‘onthouden’, het zogenoemde contextvenster. Daarom hebben AI-toepassingen vaak gebruikskosten.
Examples and best practices
- Korte, concrete prompts zijn goedkoper en werken vaak beter.
- Lange documenten kunnen groter zijn dan het contextvenster van het model.
- Nederlandse tekst kost meestal meer tokens dan Engelse tekst.
- De kosten hangen af van het model, want sterkere modellen kosten meer per token.
How we do it at Ikoon
Bij de AI-modules van Ikoon, zoals de AI-chatassistent 24/7, AI-antwoorden op Google-reviews en AI-blog- en socialmediaberichten, regelen wij de techniek op de achtergrond. Je hoeft zelf geen tokens te tellen.