Un projet européen pour évaluer la performance des fonctions robotiques

Santé, maintenance, agroalimentaire, production agile. C’est dans ces quatre domaines industriels que le projet H2020 Metrics lancé en janvier pour trois ans, organise des compétitions de robots et conçoit des méthodes de métrologie pour évaluer les données recueillies. TeraLab, la plateforme big data et IA de l’IMT, est partenaire de ce projet. Entretien avec Anne-Sophie Taillandier, sa directrice.

Quel est l’objectif du projet européen Metrics ?

Anne-Sophie Taillandier : L’objectif de Metrics (Metrological Evaluation and Testing of Robots in International CompetitionS) est triple. Il s’agit tout d’abord d’organiser des compétitions de robots pertinentes pour l’industrie dans quatre domaines prioritaires : la santé, le contrôle et la maintenance, l’agroalimentaire, la production agile. Le deuxième objectif est de concevoir des méthodes de métrologie pour l’évaluation des données fournies par les robots. Enfin, le projet doit permettre de structurer la communauté européenne de la robotique autour des compétitions dans les quatre secteurs prioritaires cités.

D’autres projets européens organisent des compétitions de robots pour encourager le progrès scientifique et favoriser l’innovation. En quoi Metrics se démarque-t-il de ces projets ?

AST : L’un des principaux aspects différenciateurs du projet Metrics est qu’il vise à aborder directement la fiabilité et la validité des algorithmes d’IA dans le cadre des compétitions. Pour cela, les compétitions doivent porter à la fois sur le comportement du robot dans un environnement physique et sur le comportement de ses algorithmes d’IA, lorsqu’ils sont confrontés à des jeux de données correctement qualifiées et contrôlées. À notre connaissance, cette question n’a pas été abordée lors des précédentes compétitions européennes de robotique.

Quels sont les défis à relever ?

AST : À terme, nous voulons parvenir à généraliser l’utilisation des outils d’évaluation et de benchmarking et à assurer la pertinence industrielle des compétitions par challenge. Nous devons aussi réussir à attirer l’attention des acteurs industriels, des universitaires et du grand public sur les compétitions et à garantir la conformité des robots aux exigences éthiques, légales, sociales et économiques.

Comment allez-vous vous y prendre ?

AST : Afin d’évaluer la fiabilité des différents robots concurrents de manière rigoureuse et impartiale, Metrics développe un cadre d’évaluation basé sur des principes métrologiques. Pour chaque compétiton, Metrics organisera 3 campagnes d’évaluation sur le terrain (dans des environnements physiques) et 3 campagnes d’évaluation en cascade (sur des jeux de données) afin de s’engager avec la communauté de l’IA. Des benchmarks précis de fonctionnalités et de tâches sont identifiés à l’avance pour évaluer la performance de fonctions robotiques et l’exécution de tâches spécifiques.

Les partenaires de Metrics ont mobilisé des entreprises sponsors pour soutenir les concours, assurer leur pertinence industrielle et contribuer à un programme de sensibilisation et une communication efficace.

Quelle est la contribution de TeraLab, la plateforme big data et IA de l’IMT ?

AST : En premier lieu, TeraLab fournira des espaces souverains et neutres, permettant aux partenaires de Metrics et aux concurrents d’accéder aux données et aux composants logiciels dans des espaces de travail dédiés. TeraLab fournira le niveau de sécurité nécessaire pour protéger la propriété intellectuelle, les actifs et la confidentialité des données.

TeraLab et l’IMT sont également en charge du Data Management Plan décrivant les règles relatives à la gestion des données dans Metrics, basée sur les meilleures pratiques en matière de partage sécurisé des données et impliquant les experts de l’IMT s’agissant de cybersécurité, de respect de la vie privée, d’éthique et de conformité au RGPD (Règlement général sur la protection des données).

Le consortium regroupe 17 partenaires. Qui sont-ils ?

AST : Coordonné par le Laboratoire national de métrologie et d’essais (LNE), Metrics réunit 17 partenaires européens : des établissements d’enseignement supérieur et de recherche ainsi que des structures expertes dans le domaine des essais et du transfert de technologie. Ils apportent leur expertise en matière de compétition et de métrologie robotiques. Les partenaires fournissent des installations d’essais et des réseaux complémentaires à travers l’Europe dans les quatre domaines industriels prioritaires.

Quels sont les résultats attendus ?

AST : Sur le plan technologique, Metrics doit encourager l’innovation dans le domaine des systèmes robotiques. L’impact doit aussi être politique avec une information à l’intention des décideurs et une aide à la certification de systèmes robotiques. L’impact socio-économique sera réel grâce à une plus grande exposition du public à la capacité robotique, et à un engagement accru des organisations commerciales dans les quatre domaines prioritaires. Tout cela permettra de garantir la durabilité, au niveau européen, du modèle de compétition de systèmes robotiques capables de relever des défis socio-économiques.

En savoir + sur le projet Metrics

Propos recueillis par Véronique Charlet pour I’MTech