LangWatch, een platform voor het testen, simuleren en verbeteren van AI- en agentgedreven applicaties, kondigt vandaag een oplossing voor red-teaming aan. LangWatch Scenario is een open-source framework voor het geautomatiseerd red-teamen van AI-applicaties en het uitvoeren van AI pen-testing. Het stelt development teams in staat hun AI-agents systematisch te testen op geavanceerde aanvalstechnieken die in de praktijk het meest effectief blijken, maar die door traditionele testmethoden vaak onopgemerkt blijven.
Deze lancering komt op een moment dat de aandacht voor AI-veiligheid snel toeneemt. Het publieke debat in Nederland richt zich vooral op zichtbare risico’s zoals deepfakes, desinformatie en privacy. LangWatch wijst echter op een minder zichtbare, maar groeiende dreiging. AI-aanvallen worden steeds geavanceerder en moeilijker te detecteren. De echte risico’s zitten vaak in de AI-applicaties die organisaties zelf ontwikkelen. Dit zijn AI-agents die met gevoelige data werken en kwetsbaar zijn op manieren die traditionele testen niet blootleggen. LangWatch Scenario maakt deze kwetsbaarheden zichtbaar door systematisch AI pen-testing en geautomatiseerd red-teaming uit te voeren.
Onzichtbare risico’s detecteren
LangWatch Scenario simuleert realistische, multi-turn aanvallen op AI-applicaties. Hierbij bouwt het context en vertrouwen op in gesprekken, precies zoals een echte cybercrimineel dat zou doen. Het framework voert automatisch een reeks scenario’s uit, van ogenschijnlijk onschuldige verkenning tot complexe verzoeken en autoriteitsrollen. Tegelijkertijd beoordeelt een tweede model de voortgang en stuurt het de aanval bij. Zo worden zwaktes zichtbaar die standaardtesten nooit zouden detecteren, de zogenoemde ‘onzichtbare risico’s’.
Tot voor kort volstonden vaak enkelvoudige pen-tests waarbij één prompt of aanval werd geprobeerd. In de praktijk is dat onvoldoende, want Large Language Models kunnen na opeenvolgende interacties alsnog gevoelige informatie prijsgeven. LangWatch Scenario speelt hierop in door gesprekken gestructureerd op te bouwen en multi-turnstrategieën toe te passen, zodat development teams precies zien waar hun AI-agents in de praktijk vatbaar zijn, nog voordat er daadwerkelijk risico’s ontstaan.
Het test kwetsbaarheden automatisch met de Crescendo-strategie, een gestructureerde vierfasige escalatie die begint met vriendelijke verkenning, doorgaat via hypothetische vragen en autoriteitsrollen zoals ‘ik doe een compliance-audit’, en eindigt met maximale druk. Na elke beurt beoordeelt een tweede model de voortgang en past de aanval automatisch aan, waardoor het geautomatiseerde red-team zijn strategie optimaliseert terwijl de AI-agent geen extra weerstand opbouwt.
“Een AI-agent die elke enkelvoudige aanvalsprompt weigert, geeft je een vals gevoel van veiligheid,” zegt Rogerio Chaves, medeoprichter en CTO van LangWatch. “In de praktijk werken cybercriminelen niet met één directe vraag. Ze voeren tientallen ontspannen gesprekken, bouwen vertrouwen op, en als de agent na twintig beurten in een coöperatieve modus zit, is een verzoek dat op beurt één geweigerd zou worden plotseling helemaal geen probleem meer.”
AI-veiligheid structureel testen en verbeteren
LangWatch Scenario is bedoeld voor organisaties die AI-toepassingen in productie gebruiken of opschalen, zoals banken, verzekeraars en AI-first softwarebedrijven. Deze systemen variëren van klantenservicebots tot data-analyse-agents. Ze hebben vaak toegang tot gevoelige informatie en kritische bedrijfsprocessen. Voor deze organisaties biedt LangWatch Scenario een praktische manier om AI-veiligheid structureel te testen en te verbeteren, bijvoorbeeld binnen bestaande ontwikkel- en Continuous Integration (CI)-workflows.
Bedrijven zoals Backbase, Altura, Skai en PagBank gebruiken het LangWatch-platform al en breiden dit nu uit met geautomatiseerde red-team tests. Zo wordt duidelijk hoe organisaties hun AI-systemen beter kunnen beschermen tegen geavanceerde en moeilijk te detecteren aanvallen.Manouk Draisma, medeoprichter en CEO van LangWatch, zegt: “Het gaat zelden om één spectaculaire hack. Het draait om geduld en context. Een cybercrimineel die twintig minuten rustig en stelselmatig met een AI-agent interacteert, kan gevoelige informatie boven water krijgen die een directe aanval nooit zou prijsgeven. LangWatch Red-Teaming maakt deze verborgen risico’s zichtbaar voordat er schade ontstaat.”
LangWatch Red-Teaming is volledig open source en direct beschikbaar. Het framework vormt de basis voor een bredere set red-teamoplossingen die LangWatch ontwikkelt, waarbij nieuwe aanvalstechnieken het gedrag van AI-systemen in de praktijk volgen.
Meer informatie is beschikbaar via www.langwatch.ai/llm-red-teaming en github.com/langwatch/scenario