Les réseaux neuraux enseignent ce qu’il faut retenir et ce qu’il faut oublier

La mémoire est un auxiliaire précieux. C’est pourquoi les humains retiennent des aptitudes importantes et oublient des choses sans pertinence. A présent, on a développé des machines qui peuvent faire la même chose, et cela offre également, de manière assez surprenante, des avantages.

Le « Deep learning », une forme avancée d’apprentissage mécanique, entraîne actuellement une révolution dans le monde de l’intelligence artificielle et nous permet de confier finalement à des machines des tâches complexes (comme la reconnaissance d’objets, la traduction automatique, la reconnaissance vocale).

Malgré cela, de très nombreux aspects de l’apprentissage mécanique sont encore à la traîne, comparés avec ce dont les humains sont capables. En effet, les humains peuvent continuer à élargir leurs connaissances en permanence (« lifelong learning »), disposant de la possibilité de mettre à jour constamment leur mémoire avec les connaissances les plus importantes en écrasant les informations qui ne sont plus utilisables. Les connaissances anciennes, rarement utilisées, sont écrasées par les informations reçues récemment, tandis que l’on empêche que des connaissances importantes, fréquemment utilisées, soient effacées. Cette aptitude est importante. Une grande partie du flux de données pratiquement infini est sans pertinence pour la survie et, en outre, il est impossible de conserver toutes ces données dans notre mémoire limitée. C’est pourquoi les hommes, tout comme d’autres êtres, ont évolué pour retenir ainsi les aptitudes importantes et oublier celles qui ne le sont pas.

Actuellement, il n’existe aucun mécanisme fiable pour l’intelligence artificielle (IA) pour donner la priorité à des aptitudes systématiques, décider ce qu’il faut retenir et ce qu’il faut oublier. Dans les systèmes d’IA, l’apprentissage la vie durant s’est concentré principalement sur le stockage de connaissances, plutôt que de tâches et l’oubli. Mais pour les ordinateurs aussi, la capacité de mémoire est limitée et les informations à apprendre pratiquement infinies, ce qui fait que les connaissances doivent être conservées ou effacées sélectivement.

Lire plus sur Techniline.