Théorie de la simplicité : apprendre la pertinence aux intelligences artificielles

La théorie de la simplicité se base sur la sensibilité des êtres humains aux variations de complexité. Ce qui nous semble trop simple devient subitement digne d’intérêt. Ce concept établi par Jean-Louis Dessalles de Télécom ParisTech, remet en cause la méthode probabiliste de Shannon dans la description de certaines informations. Avec cette nouvelle approche, il explique des évènements autrement inexplicables comme la créativité, la prise de décision, la coïncidence ou encore le « si seulement j’avais… ». Autant de concepts qui pourraient par la suite s’appliquer aux intelligences artificielles.

Comment identifier les facteurs déterminant l’intérêt humain ? Cette problématique à l’allure philosophique du chercheur de Télécom ParisTech, Jean-Louis Dessalles, est pourtant abordée du point de vue de la théorie de l’information. A l’occasion des 100 ans du créateur de cette dernière, les héritiers de Claude Shannon exposent l’état de leurs recherches à l’institut Henri Poincaré du 26 au 28 octobre. Jean-Louis Dessalles y présente son postulat selon lequel la solution d’une problématique apparemment complexe peut justement résider dans la simplicité.

Une base Shannonienne

Claude Shannon a défini l’information à travers trois principes : le codage, la surprise et l’entropie. Cette dernière permet d’éliminer la redondance, ce qui se généralise en utilisant la complexité de Kolmogorov. Cette définition de la complexité correspond à la taille de description minimale de ce qui intéresse l’observateur. Par exemple : un message est transmis, identique à un autre précédemment communiqué. Sa description minimale revient à préciser qu’il s’agit d’une copie du précédent. La complexité diminue, l’information est simplifiée.

Dans ses recherches, Jean-Louis Dessalles réutilise les postulats de Shannon, mais selon lui, l’approche probabiliste n’est pas suffisante. Pour illustrer son propos, le chercheur utilise l’exemple du loto. « Imaginez qu’un tirage sorte les nombres : « 1, 2, 3, 4, 5, 6 ». Du point de vue des probabilités, cette combinaison n’a rien d’exceptionnel car sa probabilité est la même que celle de toutes les autres.  Pourtant il s’agit d’un scoop pour un être humain qui va le trouver plus étonnant qu’une suite aléatoire de nombres dans le désordre. » Or Shannon stipulait : « est intéressant ce qui est improbable ». Pour Jean-Louis Dessalles un dilemme s’installe. D’après lui, les probabilités sont incapables de représenter l’intérêt humain et ce que l’être humain va considérer comme information.

La théorie de la simplicité

Jean-Louis Dessalles soumet une nouvelle approche cognitive qu’il appelle : théorie de la simplicité. Elle ne se concentre plus sur la description minimale d’une information mais son décalage. Autrement dit : la différence entre ce que l’observateur attend et ce qu’il observe. C’est ainsi qu’il redéfinit la notion de surprise de Shannon. Pour un observateur humain, ce qui est attendu correspond à une probabilité causale. Dans le cas du loto, l’observateur s’attend à obtenir un lot de six chiffres qui n’ont rien à voir les uns avec les autres. Or, si le tirage est « 1, 2, 3, 4, 5, 6 », l’observateur reconnait une suite logique. Cette suite renvoie à la complexité de Kolmogorov. Donc, entre la combinaison escomptée et celle finalement observée, le degré de description et de qualification du tirage s’est simplifié. Et pour cause, on passe de 6 chiffres aléatoires à une suite facilement quantifiable. La complexité de la combinaison des six chiffres attendus au loto est bien supérieure à celle du tirage obtenu. Un évènement est considéré comme surprenant s’il est plus simple à décrire qu’à générer.

À l’origine, la théorie de la simplicité a été établie pour rendre compte de ce que les gens considèrent comme intéressant dans le langage. La notion de pertinence est alors particulièrement importante car derrière ce mot se cachent tous les éléments dignes d’intérêt d’une information, une chose que l’être humain détecte très facilement. L’intérêt humain est composé de deux choses : l’aspect unique d’une situation et l’émotion attachée à une information. Une fois appliquée, la théorie de la simplicité peut notamment permettre de déceler la pertinence d’une nouvelle médiatique, la subjectivité d’un évènement ou encore l’intensité émotionnelle associée. Cette dernière dépend d’un facteur spatio-temporel. « Un accident survenu à deux rues de chez soi va avoir un plus fort impact qu’à quatre rues, puis à quinze etc. La proximité d’un lieu se caractérise par la simplification en nombre de bits de sa description. Plus c’est proche, plus c’est simple », explique le chercheur. Et des exemples d’illustration de la simplicité, Jean-Louis Dessalles en a plein ! D’autant que chaque cas peut bénéficier d’une étude a posteriori de l’évènement pour mieux cerner ce qui est pertinent ou non. C’est là la puissance de cette théorie, elle caractérise ce qui se détache de la norme et qui n’est pas habituellement étudié.

À lire sur le blog Intelligence artificielle : la curiosité enfantine comme moteur d’apprentissage

Des recherches pour l’intelligence artificielle

L’objectif ultime de la théorie de Jean-Louis Dessalles est d’amener une machine à déterminer ce qui est pertinent sans lui avoir expliqué au préalable. « Actuellement, les IA échouent sur ce point. Pourtant, leur apporter cette capacité revient à leur préciser quand elles doivent compresser l’information », défend Jean-Louis Dessalles. Aujourd’hui, les intelligences artificielles utilisent une description de la pertinence statistique souvent synonyme d’importance qui est éloignée de la pertinence vue par l’humain. « Axée sur le principe du Machine Learning statistique, les IA sont incapables d’identifier la singularité d’un évènement sur laquelle s’appuie l’intérêt car le procédé élimine tout ce qui est anormal », précise le chercheur. La théorie de la simplicité de son côté, permet de caractériser tous les évènements, si bien qu’elle apparait pour le moment sans limite. Le chercheur préconise un apprentissage sur ce qui est pertinent comme c’est naturellement le cas avec les enfants. Au-delà de l’intérêt, les frontières de la théorie reposent sur la calculabilité de la créativité, des regrets ou encore de la prise de décision. Autant de concepts dignes d’intérêt pour les programmes des futures intelligences artificielles.

[divider style= »solid » top= »5″ bottom= »5″]

Claude Shannon, magicien des codes

Pour célébrer le centenaire de la naissance de Claude Shannon, l’Institut Henri Poincaré organise un colloqué dédié à la théorie de l’information, du 26 au 28 octobre. Il y sera question de l’héritage du mathématicien dans la recherche actuelle, et des pistes qui se dessinent pour le champ disciplinaire qu’il a fondé. L’Institut Mines-Télécom, partenaire de l’événement aux côtés du CNRS, de l’UPMC et du labex Carmin, y sera présent au travers des présentations de quatre chercheurs : Olivier Rioul, Vincent Gripon, Jean-Louis Dessalles et Gérard Battail.

Pour aller plus loin sur la vie et les travaux de Shannon, le CNRS propose un site retraçant le parcours de cet homme.

[divider style= »solid » top= »5″ bottom= »5″]

À lire également sur le blog