Éclairer la boite noire des algorithmes

Ces dernières décennies, les algorithmes sont devenus de plus en plus complexes, notamment par le déploiement des architectures de type deep learning. Cela s’est accompagné d’une difficulté croissante à expliquer leur fonctionnement interne, qui est devenu un enjeu important, tant au niveau juridique que sociologique. Winston Maxwell, chercheur en droit et Florence d’Alché-Buc, chercheuse en machine learning, tous deux à Télécom Paris, nous décrivent les enjeux actuels de l’explicabilité des algorithmes.

Quelles sont les compétences nécessaires pour aborder la problématique de l’explicabilité des algorithmes ?

Winston Maxwell : Afin de savoir comment expliquer les algorithmes, il est nécessaire d’avoir des réflexions qui croisent différentes disciplines. Notre équipe pluridisciplinaire, Éthique opérationnelle de l’IA, se concentre non seulement sur les aspects mathématiques, statistiques et computationnels, mais également sur les aspects sociologiques, économiques et juridiques. Nous sommes par exemple en train de travailler sur un système d’explicabilité pour les algorithmes de reconnaissance d’image utilisés entre autres pour la reconnaissance faciale dans les aéroports. Notre travail se situe donc à l’interface de ces différentes disciplines.

Pourquoi les algorithmes sont-ils devenus difficiles à comprendre ?

Florence d’Alché-Buc : Au départ, l’intelligence artificielle utilisait principalement des approches symboliques, c’est-à-dire qu’elle simulait la logique des raisonnements humains. Des règles logiques, appelées systèmes experts, permettaient à l’intelligence artificielle de prendre une décision en exploitant des faits observés. Ce cadre symbolique la rendait plus facilement explicable par nature. À partir du début des années 1990, l’IA s’est basée de plus en plus sur les apprentissages statistiques, comme les arbres de décision ou les réseaux de neurones, car ces structures permettent d’avoir une meilleure performance, une meilleure flexibilité d’apprentissage et une meilleure robustesse.

Ce type d’apprentissage se base sur des régularités statistiques et c’est la machine qui établit quelles règles permettent de les exploiter. L’humain donne des fonctions d’entrée et une sortie attendue et le reste est déterminé par la machine. Un réseau de neurones est une composition de fonctions. Même si nous pouvons comprendre les fonctions qui le constituent, leur accumulation devient rapidement complexe. Il y a donc une boite noire qui se crée, dans laquelle il est difficile de savoir ce que la machine calcule.

Comment rendre les intelligences artificielles plus explicables ?

FAB : La recherche actuelle se concentre sur deux approches principales. Il y a l’explicabilité par construction où, pour toute nouvelle constitution d’algorithme, il y a une implémentation de fonctions de sortie explicatives, c’est-à-dire qui permettent de décrire au fur et à mesure les étapes réalisées par le réseau de neurones. Mais cela a un coût et impacte la performance de l’algorithme et c’est pour cela que ce n’est pas encore très répandu. En général, et c’est l’autre approche, lorsqu’il faut expliquer un algorithme existant, ce sont des explications a posteriori qui sont effectuées, c’est-à-dire qu’après qu’une IA a établi ses fonctions de calculs, nous allons chercher à décortiquer les différentes étapes de son raisonnement. Pour cela il y a plusieurs méthodes, qui cherchent en général à fragmenter le modèle entier complexe en un ensemble de modèles locaux moins compliqués à traiter individuellement.

Quels sont les raisons et les enjeux qui poussent la nécessité d’expliquer les algorithmes ?

WM : Il existe deux raisons principales pour lesquelles le droit stipule qu’il y a un besoin d’explicabilité des algorithmes. Premièrement, les individus ont le droit de comprendre et de contester une décision algorithmique. Deuxièmement il faut garantir qu’une institution de contrôle comme la Commission nationale informatique et libertés (CNIL), ou un tribunal, peut comprendre le fonctionnement de l’algorithme, à la fois dans l’ensemble et dans un cas particulier. Par exemple, pour être sûr qu’il n’y a pas de discrimination raciale. Il y a donc un aspect individuel et un aspect institutionnel.

Faut-il adapter le format des explications selon les cas ?

WM : Les formats dépendent de l’entité à qui il faut que cela soit expliqué : par exemple, certains formats seront adaptés aux régulateurs comme la CNIL, d’autres à des experts et d’autres à des citoyens. Depuis 2015, il existe un service expérimental pour déployer des algorithmes qui détectent d’éventuelles activités terroristes en cas de menaces graves. Pour que cela soit correctement encadré, il faut qu’un contrôle externe des résultats soit facilement effectué, et donc que l’algorithme soit suffisamment transparent et explicable.

Existe-t-il des difficultés particulières pour fournir une explication appropriée ?

WM : Il y a de nombreux aspects à prendre en compte. Par exemple, la fatigue de l’information : lorsque la même explication est fournie de manière systématique, l’humain va avoir tendance à ne plus y faire attention. Il est donc important d’avoir des formats qui varient dans la manière dont l’information est présentée. Aussi, des études ont montré que les humains ont tendance à suivre une décision donnée par un algorithme sans la questionner. Cela s’explique notamment par le fait que l’humain va considérer d’emblée que l’algorithme se trompe statistiquement moins souvent que lui. C’est ce que nous appelons le biais d’automatisation. C’est pour cela que nous voulons fournir des explications qui permettent à l’agent humain de comprendre et de prendre en considération leur contexte et leurs limites. C’est un véritable défi d’utiliser des algorithmes pour rendre les humains plus éclairés dans leurs décisions, et non l’inverse. Il faut que l’algorithme soit une aide à la décision mais ne remplace pas l’humain.

Quels sont des obstacles associés à l’explicabilité de l’IA ?

FAB : Un aspect à considérer lorsque nous voulons apporter des explications à un algorithme est la cybersécurité. Il faut faire attention à la potentielle mise à profit des explications par des pirates informatiques. Il y a donc pratiquement un triple équilibre à trouver dans le développement des algorithmes : la performance, l’explicabilité et la sécurité.

Est-ce aussi un enjeu de protection de la propriété industrielle ?

WM : Oui, il y a également l’aspect de la protection des secrets d’affaire : certains développeurs peuvent être réfractaires à communiquer sur leurs algorithmes de peur d’être copiés. Un autre pendant de cela est la manipulation des scores : si les individus comprennent le fonctionnement d’un algorithme de classement, par exemple celui de Google, alors il leur serait possible de manipuler leur position au sein du classement. La manipulation est un enjeu important non seulement pour les moteurs de recherche, mais également pour les algorithmes de détection de fraude ou de cyberattaques.

Comment pensez-vous que l’IA va devoir évoluer ?

FAB : Les enjeux associés à l’IA sont multiples. Dans les prochaines décennies, nous allons devoir passer d’un objectif unique de performance des algorithmes à de multiples objectifs additionnels comme l’explicabilité, mais aussi l’équitabilité et la fiabilité. Tous ces objectifs vont redéfinir le machine learning. Les algorithmes se sont rapidement propagés et ils ont des effets énormes sur l’évolution de la société, mais ils sont très rarement accompagnés de leurs modes d’emploi. Il faut qu’un ensemble d’explications adaptées aillent de pair avec leurs usages afin de pouvoir maitriser leur place.

Par Antonin Counillon

À lire aussi sur I’MTech