De afgelopen 6 maanden is hard gewerkt aan het integreren van een AI agent in de Workflow Orchestrator (WFO). Deze software, waar SURF samen met andere internationale partijen actief aan ontwikkeld, is in de afgelopen 6 maanden verrijkt met de functionaliteit van een RAG. Hiermee wordt het mogelijk om op een uitgebreide manier te zoeken door de database van de orchestrator en kan men in natuurlijke taal allerlei dwarsdoorsnedes maken informatie uit de orchestrator halen.
In het onderstaande diagram kun je een voorbeeld zien van hoe dat er uit ziet in de SURF installatie van de WFO software. Het plaatje drukt de groei uit van het aantal diensten wat met behulp van de orchestrator sinds 2018 is opgeleverd op het SURF netwerk.
Opensource en vendor agnostisch
Belangrijk criterium bij het ontwikkelen van deze LLM integratie was de mogelijkheid om te integreren met verschillende LLM’s en niet afhankelijk te zijn van een cloud dienst. Om dit mogelijk te maken hebben we tijdens het ontwikkelen er voor gezorgd dat de implementatie de meest recente standaarden gebruikt. Hierdoor is het mogelijk om met een LLM naar keuze te integreren, zolang zij gebruik maken van de OpenAI api specificatie. Tijdens het ontwikkelen is met meerdere LLM’s geexperimenteerd, zo ook met de LLM’s die beschikbaar zijn op SURFs AI-HUB platform. Dit platform, ontwikkeld voor onderzoek en onderwijs in Nederland, maakt opensource LLM’s beschikbaar die zijn gehost in het datacentrum van SURF.
Hoe nu verder?
In het komende jaar willen we verder bouwen een een Agentic ecosysteem binnen de SURF netwerkafdeling. Met behulp van Machine Learning en Generatieve AI, gaan we proberen zo ver mogelijk te gaan om het troubleshooten te automatiseren, zodat we zo snel als mogelijk goed kunnen reageren (en wellicht anticiperen) op incidenten die plaatsvinden in het netwerk.
Wil je meer weten?
Lees vooral verder op de blog van Tim Frölich, software ontwikkelaar in dienst van ShopVirge die een groot deel van het werk heeft verzet voor het bouwen van deze integratie. Klik hier voor de uitgebreide technische uitleg .