LISA | LLM's integreren in bestaande softwareproducten

Praktische richtlijnen voor een veilige, efficiënte en betrouwbare implementatie

De integratie van large language models (LLM’s) in bestaande digitale producten brengt nieuwe uitdagingen met zich mee op het vlak van testen, beveiliging, operationeel beheer, kosten en regelgeving. LISA ondersteunt Vlaamse softwarebedrijven bij een doeltreffende en veilige integratie van LLM's. Het project ontwikkelt praktische methodes en richtlijnen om experimenten om te zetten in betrouwbare softwaretoepassingen. 
 

Doelgroep

Het project richt zich voornamelijk op:

• Softwarebedrijven die LLM's integreren in digitale producten en diensten
• Bedrijven die digitale producten met LLM-functionaliteiten ontwikkelen
• Technologieteams die verantwoordelijk zijn voor de ontwikkeling, het testen en het beheer van LLM-gebaseerde systemen
• Bedrijven die de mogelijkheden van LLM's willen benutten, maar niet over de interne expertise beschikken om ze betrouwbaar en veilig te implementeren 

Context

Generatieve AI en LLM's veranderen de manier waarop bedrijven digitale producten ontwikkelen. Hun vermogen om natuurlijke taal te begrijpen en te genereren biedt mogelijkheden voor onder meer klanteninteractie, contentcreatie, data-analyse en gepersonaliseerde digitale diensten. De integratie van LLM's in bestaande softwaresystemen brengt echter uitdagingen met zich mee die sterk verschillen van traditionele softwareontwikkeling.

LLM-gebaseerde systemen kunnen zich onvoorspelbaar gedragen, waardoor testen en regressiebeheer complexer worden. Bedrijven moeten bovendien rekening houden met hallucinaties, evoluerende modellen, operationele kosten en beveiligingssrisico's zoals promptmanipulatie en datalekken. Privacy, aansprakelijkheid, auteursrecht en naleving van de Europese AI Act zorgen voor extra complexiteit. Voor veel softwarebedrijven bemoeilijken deze uitdagingen nog steeds de stap van veelbelovende experimenten naar betrouwbare productietoepassingen. 
 

Doelstelling & resultaten 

LISA helpt Vlaamse softwarebedrijven om LLM's betrouwbaar, veilig en duurzaam te integreren in digitale producten en diensten.

Het project heeft als doel:

• Praktische kennis op te bouwen over de implementatie en integratie van LLM-gebaseerde toepassingen
• Methoden te ontwikkelen om LLM-gebaseerde systemen te testen, implementeren, monitoren en onderhouden
• Beveiligingssrisico's te identificeren en richtlijnen te ontwikkelen om beveiliging vanaf het ontwerp te integreren
• Juridische en regelgevende vereisten te vertalen naar praktische richtlijnen
• Bedrijven te helpen om technologieën, kosten en afhankelijkheden te evalueren bij de keuze van LLM-oplossingen 

Verwachte resultaten:

• Praktische richtlijnen voor de implementatie van LLM's in softwareproducten, met aandacht voor architectuurkeuzes, de evaluatie van tools en strategieën om vendor lock-in te beperken
• Beveiligingsrichtlijnen rond risico's zoals de blootstelling van gevoelige gegevens, manipulatie van input, diefstal van modellen en systeembeschikbaarheid
• DevOps- en operationele praktijken voor testen, implementatie, monitoring, betrouwbaarheid en kostenbeheer
• Juridische en regelgevende richtlijnen rond privacy, aansprakelijkheid, auteursrecht en de Europese AI Act
• Een duurzaam kenniscentrum waarin projectinzichten, tools en richtlijnen voor softwarebedrijven worden samengebracht 
   

Aanpak

LISA combineert de expertise van Sirris en DistriNet in vier complementaire onderzoekstrajecten.

1. LLM-implementatie
   De partners onderzoeken architecturen, tools en frameworks om LLM's in softwaretoepassingen te integreren. Daarbij volgen ze ook technologische ontwikkelingen op en onderzoeken ze manieren om de afhankelijkheid van individuele leveranciers te beperken.
2. Beveiliging
   Het project identificeert beveiligingssrisico's die specifiek zijn voor LLM-gebaseerde systemen en onderzoekt hoe beveiligingsprincipes vanaf het ontwerp kunnen worden toegepast.
3. DevOps en operationeel beheer
   Bestaande praktijken voor softwareontwikkeling worden aangepast aan de specifieke kenmerken van LLM-gebaseerde systemen. De focus ligt op testen, implementatie, monitoring, betrouwbaarheid en kostenbeheersing.
4. Juridische en regelgevende aspecten
   Het project vertaalt vereisten rond privacy, aansprakelijkheid, auteursrecht en de Europese AI Act naar praktische richtlijnen voor softwarebedrijven.

De kennis uit de vier onderzoekstrajecten wordt samengebracht in een kenniscentrum dat ook na afloop van het project toegankelijk blijft. 
 

Financiering

• Financieringsinstantie: VLAIO
• Programma: COOCK+-project 
• Partner : DistriNet, KU Leuven