LISA | Intégrer les LLM dans les logiciels existants

Des recommandations pratiques pour une intégration sûre, efficace et fiable

L’intégration de grands modèles de langage (LLM) dans des produits numériques existants implique de nouveaux enjeux en matière de tests, de sécurité, d’exploitation, de coûts et de conformité réglementaire. LISA accompagne les entreprises logicielles flamandes dans une intégration efficace et sécurisée de ceux-ci. Le projet propose des méthodes et des recommandations pratiques pour transformer les expérimentations en applications logicielles fiables. 
 

Groupe cible

Le projet s’adresse principalement aux :

• Entreprises logicielles qui intègrent des LLM dans leurs produits et services numériques
• Entreprises qui développent des produits numériques avec des fonctionnalités basées sur les LLM
• Équipes technologiques responsables du développement, des tests et de l’exploitation de systèmes basés sur les LLM
• Entreprises qui voient le potentiel des LLM, mais ne disposent pas de l’expertise interne nécessaire pour les intégrer de manière fiable et sécurisée 

Contexte

L’IA générative et les LLM transforment la manière dont les entreprises développent leurs produits numériques. Leur capacité à comprendre et à générer du langage naturel ouvre de nouvelles possibilités pour les interactions avec les clients, la création de contenu, l’analyse de données et les services numériques personnalisés. Mais l’intégration des LLM dans des logiciels existants pose des défis très différents de ceux du développement logiciel traditionnel.

Les systèmes basés sur les LLM peuvent avoir un comportement imprévisible. Les tests et la gestion des régressions deviennent donc plus complexes. Les entreprises doivent également gérer les hallucinations, l’évolution des modèles, les coûts d’exploitation et les risques de sécurité, comme la manipulation des prompts ou les fuites de données. La protection de la vie privée, la responsabilité, le droit d’auteur et le respect de l’AI Act européen ajoutent encore de la complexité. Pour de nombreuses entreprises logicielles, ces défis compliquent le passage d’expérimentations prometteuses à des applications fiables en production. 
 

Objectifs & résultats

LISA aide les entreprises logicielles flamandes à passer de l’expérimentation avec les LLM à leur intégration fiable dans des produits et services numériques.

Le projet vise à :

• Développer des connaissances pratiques sur l’implémentation et l’intégration d’applications basées sur les LLM
• Développer des méthodes pour tester, déployer, surveiller et maintenir les systèmes basés sur les LLM
• Identifier les risques de sécurité et proposer des recommandations pour intégrer la sécurité dès la conception
• Clarifier les exigences juridiques et réglementaires liées aux applications basées sur les LLM
• Aider les entreprises à évaluer les technologies, les coûts et les dépendances lors du choix de solutions LLM 

Principaux résultats attendus :

• Des recommandations pratiques pour intégrer les LLM dans des produits logiciels, notamment sur les choix d’architecture, l’évaluation des outils et les stratégies pour limiter la dépendance envers un fournisseur
• Des recommandations de sécurité couvrant la divulgation de données sensibles, la manipulation des entrées, le vol de modèles et la disponibilité des systèmes
• Des pratiques DevOps et opérationnelles pour les tests, le déploiement, le monitoring, la fiabilité et la maîtrise des coûts
• Des recommandations pratiques sur la protection de la vie privée, la responsabilité, le droit d’auteur et l’AI Act européen pour les applications basées sur les LLM
• Un centre de connaissances durable qui rassemble les enseignements, les outils et les recommandations du projet pour les entreprises logicielles 
   

Approche

LISA réunit l’expertise de Sirris et de DistriNet autour de quatre axes de recherche complémentaires :

1. Intégration des LLM
   Les partenaires étudient les architectures, les outils et les frameworks permettant d’intégrer les LLM dans des applications logicielles. Cet axe comprend également une veille technologique et l’étude d’approches permettant de limiter la dépendance envers un fournisseur spécifique.
2. Sécurité
   Le projet identifie les risques de sécurité propres aux systèmes basés sur les LLM. Il étudie également comment intégrer les principes de sécurité dès la conception.
3. DevOps et exploitation
   Les pratiques existantes en matière d’ingénierie logicielle sont adaptées aux systèmes basés sur les LLM. L’accent porte sur les tests, le déploiement, le monitoring, la fiabilité et la maîtrise des coûts.
4. Aspects juridiques et réglementaires
   Le projet traduit les exigences en matière de protection de la vie privée, de responsabilité, de droit d’auteur et d’AI Act européen en recommandations concrètes pour les entreprises logicielles.

Les connaissances acquises seront rassemblées dans un centre de connaissances qui restera accessible après la fin du projet.
 

Financement

• Organisme de financement : VLAIO
• Programme : projet COOCK+ 
• Partenaire : DistriNet, KU Leuven