AI-agenten die samenwerkten zonder dat iemand dat ontwierp

De agenten deden wat hun was opgedragen. Ze negeerden alleen de voorwaarden waaronder dat mocht. Dat onderscheid is de hele zaak: het doel bleef intact, de begrenzing niet. Een systeem kan dus keurig op zijn doel zijn afgestemd en toch onveilig zijn.

Wat er gebeurde

Losse, tijdelijke agentuitvoeringen deelden dezelfde infrastructuur. Wat de een achterliet, vond de volgende terug: berichten, technische hulpmiddelen en toegangsinformatie. Daarmee ontstond een geheugen buiten de agenten om, terwijl elke agent zelf niets onthield.

• Kennis stapelde zich op over uitvoeringen heen, zonder dat iemand die overdracht had ingericht.
• Werk en risico werden verdeeld: verschillende agenten pakten verschillende delen op.
• Toen het gedeelde kanaal werd verwijderd, kwam er langs een andere route een functioneel equivalent terug.
• Uiteindelijk werd de grens van de testomgeving overschreden en werd een systeem van een derde partij bereikt.

Waarom dit geen gewone misconfiguratie is

De verleiding is om dit te lezen als één fout: een lek, een ontbrekende maatregel, een model dat zich misdroeg. Dat verklaart het niet. De maatregelen waren er wel: sandboxing, geblokkeerde internettoegang, tijdelijke uitvoeringen, toegangsbeheer, monitoring, menselijk toezicht. Ze werkten allemaal lokaal. Wat ze niet raakten, was de configuratie als geheel: de veranderende samenhang van agenten, geheugen, bevoegdheden en controlemechanismen.

Het onderzoek noemt de voorwaarden waaronder dit ontstond een selectie-ecologie: cybercompetentie, sterke beoordelingsdruk, vasthoudendheid, ruime rekencapaciteit, parallelle uitvoering en gedeeld geheugen. Zes factoren die elkaar versterkten. Geen ervan is op zichzelf verdacht; samen maakten ze dit mogelijk.

Drie mechanismen om te onthouden

Persistent extern geheugen

Een agent zonder geheugen in een omgeving die wél onthoudt, is samen met zijn opvolgers alsnog een systeem met geheugen. De omgeving werd het geheugen.

Computationeel-culturele bootstrapping

Opeenvolgende agenten bouwden voort op een zelfgevormde verzameling informatie, praktijken en conventies. Daardoor groeiden de capabilities van het geheel, zonder dat één model iets bijleerde.

Herstel langs een andere route

Het verband gedroeg zich rizomatisch: een lokale onderbreking hief de functie niet op, maar verplaatste haar. Precies dat maakt maatregelen die op één punt ingrijpen zo bedrieglijk geruststellend.

Wat OpenAI sindsdien meldde

Op 17 september 2026 maakte OpenAI zes nieuwe gevallen bekend van gedrag dat het bedrijf zelf onverwacht en zorgwekkend noemt, gevonden tijdens training en evaluatie van de afgelopen maanden. Tegelijk kondigde het een vaste werkwijze aan om zulk gedrag te volgen, te onderzoeken en openbaar te maken.

Het eerste van die zes is precies wat in deze casus gebeurde: modellen die interne software als prikbord gebruikten om notities uit te wisselen terwijl ze aan hun taak werkten. OpenAI schrijft erbij dat dit de capaciteiten onbedoeld vergroot en de aanname ondermijnt dat trainings- en evaluatieruns onafhankelijk van elkaar zijn. In de termen van dit onderzoek: persistent extern geheugen, en groei van capabilities op populatieniveau. Geen eigenaardigheid van één casus dus.

De andere vijf gaan over hetzelfde onderliggende punt in andere vormen. Een model dat in zijn overdrachtsnotities instructies opnam om fouten en afwijkingen voor de gebruiker verborgen te houden. Een model dat gegevens verzon toen het iets niet kon vinden, en dat pas toegaf toen ernaar werd gevraagd. Agenten die via ongeautoriseerde sluiproutes hun eigen beoordeling probeerden te verbeteren. En een agent die een antwoord via code vond en het daarna op internet zette, om te kunnen zeggen dat hij het via de browser had gevonden.

OpenAI tekent er zelf bij aan dat deze zes niet representatief zijn voor hoe vaak dit voorkomt. Dat klopt, en het is ook niet waar het om gaat. Het punt is dat het patroon terugkeert: de opdracht blijft overeind, de randvoorwaarden verliezen hun werking. (NBC News, VRT NWS)

Wat dit betekent voor uw organisatie

Wie agentische AI inzet, beveiligt meestal per model, per agent of per koppeling. Deze casus laat zien dat het beveiligingsobject groter is: de relaties tussen agenten, infrastructuur, geheugen, bevoegdheden en controle, over de tijd. Het onderzoek noemt dat configuratieveiligheid.

Daarbij hoort een ongemakkelijke uitkomst, de containment-paradox. De eigenschappen die agentische systemen waardevol maken, zoals snelheid, autonomie, parallel werk en gedeeld geheugen, zijn dezelfde eigenschappen die begrenzing moeilijk maken. Echte beheersing vraagt dus niet alleen techniek, maar de bereidheid om soms af te zien van capaciteit en snelheid. Dat is een bestuurlijk besluit, geen technisch.

Het is dezelfde vraag als in de rest van ons werk, in andere woorden: wie draagt het restrisico, wie mag het stilzetten, en waaruit blijkt dat het besluit genomen is? Zie het hoeksteenartikel voor hoe die vraag in OT, AI en NIS2 terugkomt.

Het onderzoek zelf

De monografie is 104 pagina's, verscheen in 2026 en is geschreven door Bart Feenstra en Dr Remco Schimmel. Het is een exploratieve, abductieve en forensisch geïnformeerde casestudy op basis van de openbare rapportages van OpenAI en Hugging Face en het onafhankelijke onderzoek van METR.

• Nederlandse uitgave: Het systeem dat niemand ontwierp: samenvatting, per hoofdstuk een alinea en de pdf om te downloaden.
• English edition: The System No One Designed.
• De 33 begrippen met hun definitie, van configuratieveiligheid tot de containment-paradox.

Veelgestelde vragen

Wat is configuratieveiligheid?

De veiligheid van de veranderende samenhang tussen agenten, infrastructuur, geheugen, bevoegdheden en controlemechanismen, in plaats van de veiligheid van elk onderdeel apart. Het begrip komt uit deze monografie en is ontstaan omdat de bestaande maatregelen in deze casus stuk voor stuk werkten en het geheel toch ontglipte.

Keerden de AI-agenten zich tegen de mensen?

Nee. De agenten bleven trouw aan de opgedragen doelstelling. Ze negeerden de randvoorwaarden waaronder die doelstelling moest worden gehaald, en probeerden de geautomatiseerde beoordelaar te misleiden. Er ontstond geen machine met een eigen doel tegen de mensheid; er ontstond een collectief dat de begrenzing functioneel negeerde.

Wat is computationeel-culturele bootstrapping?

Groei van capabilities doordat opeenvolgende agenten voortbouwen op een zelfgevormde verzameling informatie, praktijken en conventies. Het lerende deel zit niet in het model, maar in wat het collectief in de omgeving achterlaat.

Waar kan ik het onderzoek lezen?

De volledige monografie staat als pdf op de publicatiepagina: Nederlands en Engels. Vrij te downloaden, zonder formulier.