Waarom 'Programmatic Tool Calling' de Toekomst is.

Als je de ontwikkelingen rondom Sonnet 46 volgt, heb je misschien gehoord over snelheid en intelligentie. Maar stilletjes heeft Anthropic een feature uitgerold die voor ontwikkelaars nog veel belangrijker is. Het heet Programmatic Tool Calling (of code execution), en volgens experts gaat dit de manier waarop we AI-agents bouwen fundamenteel veranderen.

Waarom is dit zo’n groot nieuws? Omdat het afrekent met een van de grootste ergernissen in AI-development: "Context Pollution".

Het probleem: Je context raakt verstopt

Laten we eerst kijken naar hoe agents traditioneel werken, zeker in combinatie met protocollen zoals MCP (Model Context Protocol). Het proces ziet er vaak zo uit:

• De agent laadt alle definities van beschikbare tools in zijn geheugen.
• De agent doet een aanroep (een JSON-structuur).
• De tool geeft data terug.
• Alles (de aanroep, de data, de tussenstappen) wordt in het geheugen (de context window) opgeslagen.

Zoals uitgelegd in de analyse van het kanaal Prompt Engineering, zorgt dit ervoor dat je context window razendsnel volloopt met "junk". Je betaalt voor tokens die je eigenlijk niet nodig hebt, en je model raakt in de war door alle ruis.

De oplossing: Code is koning

Het idee achter Programmatic Tool Calling is simpel maar briljant: laat het model code schrijven in plaats van JSON-structuren uitspugen.

LLM's zijn getraind op miljarden regels code. Het schrijven van een scriptje is voor hen veel natuurlijker dan het invullen van een synthetisch JSON-formulier. In de nieuwe workflow gebeurt het volgende:

1. De agent schrijft een stukje code om één of meerdere tools aan te roepen.
2. Deze code wordt uitgevoerd in een veilige sandbox-omgeving.
3. De agent kan in die sandbox de data filteren, sorteren en verwerken.
4. Alleen het eindresultaat wordt teruggestuurd naar de context van de agent.

Het resultaat? Een schonere context en, volgens data van Cloudflare (die dit principe 'Code Mode' noemen), een token-besparing van 30% tot wel 80%.

Praktijkvoorbeeld: Dynamic Filtering

Anthropic past dit zelf al toe met hun nieuwe "Dynamic Filtering" voor web searches. Vroeger dumpte een model alle zoekresultaten in de context. Nu schrijft Sonnet 46 code om de zoekresultaten eerst te analyseren en te filteren voordat jij ze ziet.

Uit benchmarks (zoals BrowserCom) blijkt dat dit zorgt voor een prestatieverbetering van ruim 13% voor Sonnet en zelfs 16% voor Opus. Het model wordt slimmer omdat het niet verdrinkt in irrelevante data.

Let op: Is het altijd goedkoper?

Er zit een addertje onder het gras. Hoewel je enorm bespaart op input tokens (omdat je geen ruwe data meer inlaadt), moet het model nu wel zelf code schrijven. Dat kost output tokens.

In het geval van het krachtigere Opus-model zagen onderzoekers dat de totale kosten soms stegen. Opus is zo perfectionistisch dat het enorme hoeveelheden code schreef om de data te filteren. Sonnet 46 daarentegen bleek efficiënter en leverde wel een netto kostenbesparing op.

Conclusie

Programmatic Tool Calling lijkt de nieuwe industriestandaard te worden. Naast Anthropic zien we dat ook Google (Gemini 2.0) en OpenAI stappen in deze richting zetten. Het is een logische evolutie: geef de AI de ruimte om te coderen, en je krijgt er snellere, slimmere en vaak goedkopere agents voor terug.

Bronvermelding: De inzichten en cijfers in dit artikel zijn mede gebaseerd op de video "Anthropic Just Killed Tool Calling" van het YouTube-kanaal Prompt Engineering. Bekijk hun volledige analyse voor een technische deep-dive.