Week 15: Leren door bouwen - cursussen, wiki's en de bottleneck van bookkeeping

Deze week begon met een toolkit die ik niet snapte en eindigde met een wiki die voor mij blijft onthouden wat ik anders weer zou vergeten. Daartussen zat een rode draad die ik pas in de loop van de week zag: ik leer iets pas echt als ik het uit elkaar haal en opnieuw opbouw.

Een cursus schrijven om iets te begrijpen

Het begon met de Agent Governance Toolkit van Microsoft. Ik wilde de toolkit echt doorgronden, dus ik dook in de documentatie. Maar ik las kriskras, sprong heen en weer tussen pagina’s, en het mentale model wilde maar niet komen. Op een gegeven moment merkte ik dat ik aan het scrollen was zonder iets te onthouden. Dat is een bekend gevoel, en het frustreert me iedere keer opnieuw.

Toen besloot ik iets anders te doen: een cursus maken. Niet omdat iemand erom vroeg, maar omdat ik wist dat ik de toolkit pas zou begrijpen als ik hem aan iemand anders moest uitleggen. Ik gaf Claude Code de opdracht om de toolkit te analyseren en aan de hand van de OWASP Agentic Application Top 10 een leerpad op te zetten. Zeventien modules, van ungoverned voorbeeld naar volledig governed agent, met theorie, code-walkthroughs en oefeningen. Als rode draad een Research Agent — iets wat ik in de afgelopen jaren al vijf of zes keer in verschillende frameworks heb gebouwd, dus ik weet precies waar het schuurt.

Twee dingen werden meteen duidelijk. Ten eerste begon Claude Code de toolkit na te bouwen in plaats van te laten zien hoe je hem gebruikt. Dat was niet wat ik wilde, en ik moest flink bijsturen. Waarschijnlijk lokte mijn oorspronkelijke vraag — “begrijp de toolkit” — die richting uit. Ten tweede liep ik snel tegen de tokenlimieten van mijn Max-plan aan. Dat was even slikken, want het voelde alsof het werk net op gang kwam. Ik schakelde over naar GitHub Copilot met GPT-5.3-Codex om verder te kunnen, en dat werkte. Maar ik vond het ongemakkelijk dat ik steeds bewuster moet worden van welke agent waar zijn limieten heeft.

De volgende dagen breidde het project zich uit van tien naar zeventien modules, omdat ik bij verificatie tegen Microsoft’s eigen documentatie ontdekte dat ik alleen de AgentMesh-laag dekte en niet de Agent OS, Runtime en SRE componenten. Voor de zes nieuwe modules gebruikte ik parallelle agent dispatch — zes agents tegelijk, elk met een eigen scope en context. Dat scheelt enorm veel tijd, maar het kost wel aandacht: je moet vooraf precies weten welke constraints elke agent meekrijgt, anders krijg je zes versies die net niet bij elkaar passen.

NotebookLM als tweede stem

Per module heb ik een ritueel ontwikkeld dat ik graag deel. Ik lees de tekstuele module door, en als ik een constructie of begrip niet snap, laat ik die uitleggen. Dat verbetert de module — niet alleen voor mezelf, maar ook voor wie hem straks volgt. Daarna converteer ik de module naar markdown en bied die aan NotebookLM aan. Daar laat ik een Video Overview genereren met de module als bron, en die voeg ik aan de module toe. Zo krijgt elke module een tekstuele en een audiovisuele uitleg, beide gebaseerd op exact dezelfde inhoud.

Wat me hier opviel: het maken van die video’s voelt niet als een extra stap, maar als een tweede review. Als de Video Overview iets verkeerd uitlegt of een belangrijk punt laat liggen, weet ik dat mijn brontekst nog niet sterk genoeg is.

Karpathy en de bookkeeping-bottleneck

Halverwege de week sloeg het over naar een ander project: een persoonlijke LLM-wiki, gebouwd op het idee van Andrej Karpathy. Drie lagen: raw/ voor immutable bronnen (papers, transcripts, rapporten), wiki/ voor LLM-gegenereerde pagina’s, en een schemaconfiguratie. Twee skills doen het werk: /wiki-ingest verwerkt nieuwe bronnen en maakt cross-references aan, /wiki-lint controleert de kwaliteit. Bidirectionele linking, append-only logs, bias checks per bron.

Karpathy heeft een uitspraak die deze week in mijn hoofd is blijven hangen: bookkeeping is de bottleneck, niet denken. LLM’s zijn juist sterk in onderhoudstaken die mensen vaak abandonneren. Dat is precies wat ik herken aan mezelf. Ik lees iets, denk “interessant”, en drie weken later ben ik vergeten waar het stond. Een wiki die zichzelf bijhoudt is geen luxe; het is precies de schakel die in mijn workflow ontbrak.

De cross-referencing was de lastigste implementatie. Bidirectioneel updaten van related-velden zonder dubbele entries of orphaned references vereist zorgvuldige coördinatie. Ik heb het uiteindelijk met parallelle agents gebouwd, elk met een strikte scope, en dan een lint-pass om de consistentie te valideren.

Bijsturen en de grenzen van high-level intentie

Mijn aansturingsstijl deze week was wat ik “high-level intentie, low-level execution” ben gaan noemen. Ik geef strategische richting — “implementeer Karpathy’s cross-referencing”, “maak een cursus die laat zien hoe je de toolkit gebruikt” — en de agent werkt uit hoe dat technisch moet. Het werkt goed, maar het werkt alleen als ik scherp ben op verificatie. Twee keer deze week ging het mis omdat ik te hoog instuurde: bij de Agent Governance cursus toen Claude Code de toolkit ging nabouwen, en bij de OWASP-scope toen ik niet had gespecificeerd dat het om de Agentic Top 10 ging in plaats van de generieke LLM Top 10.

De fix is steeds dezelfde: eerder ingrijpen, explicieter zijn over wat ik níet wil, en elke output kort verifiëren tegen de bron in plaats van tegen mijn eigen aannames.

Wat het met mij deed

Ik hou van lezen en pik daar normaal gesproken snel nieuwe informatie mee op. Dat is mijn vertrouwde manier. Maar bij deze toolkit liep ik vast — het kriskras lezen leverde me gewoon niet het mentale model op dat ik zocht. En toen ontdekte ik deze week iets nieuws: door er een cursus van te maken, kreeg ik wél grip. Dat vond ik prettig. Ik hou van leren, en dit keer hielp deze aanpak om iets binnen handbereik te krijgen wat eerst stug bleef. Geen vervanging voor lezen, wel een mooie aanvulling die ik wil onthouden.

Tegelijk zat er een ongemakkelijk randje aan deze week. Het token-limiet bij Claude Code raakte me harder dan ik had verwacht. Niet omdat ik niet verder kon — er was een uitwijk naar Copilot — maar omdat ik even doorhad hoe afhankelijk ik ben geworden van die infrastructuur. Een tooling-keuze voelt steeds meer als een werkomgeving. Als die tijdelijk wegvalt, valt er niet alleen een tool weg maar een manier van denken.

En de wiki: die voelt als een belofte aan mezelf. Een belofte dat ik niet meer hoef te accepteren dat ik elke maand opnieuw dezelfde dingen leer. Of die belofte uitkomt, weet ik over een paar weken pas. Maar het bouwen ervan was, net als de cursus, een manier om iets te snappen dat ik anders alleen oppervlakkig zou hebben aangeraakt.

Het patroon

Drie projecten, één onderliggend principe: je begrijpt iets pas als je het opnieuw moet construeren voor iemand anders — ook als die ander jezelf bent over zes maanden. De agent kan dat construeren versnellen, maar de richting moet van mij komen. En de verificatie ook.