FROM RESEARCH TO INDUSTRY
Responsable Artificial Intelligence
François Terrier, AI program VP, CEA DRT
Commissariat à l’énergie atomique et aux énergies alternatives ‐ www.cea.fr
Commissariat à l’énergie atomique et aux énergies alternatives
François Terrier, AI program VP, CEA DRT
June 25th, 2021
AI is coming… HUGE and EVERYWHERE !
(and not only on the net/cloud)
AI (SW & HW) should
represent in 2030
~10% of Europe activity
Data today:
80 % in the cloud
20 % at edge
But within 5 years:
- 20 % in the cloud
- 80% everywhere
In many objects,
products, systems
of current life & industry
Thierry Bretton, EC Commissioner
Commissariat à l’énergie atomique et aux énergies alternatives
François Terrier, AI program VP, CEA DRT
June 25th, 2021
QU’EST‐CE QUE L’IA ?
« L’ensemble de théories et de techniques
mises en œuvre en vue de réaliser des
machines capables de simuler l’intelligence »
Encyclopédie Larousse ‐ Cité par dalloz‐actualite.fr
Beaucoup de technologies,
méthodes, théories,
représentations, calculs…
« Toute l’informatique,
toutes les mathématiques »
©Thales
Commissariat à l’énergie atomique et aux énergies alternatives
François Terrier, AI program VP, CEA DRT
June 25th, 2021
QU’EST‐CE QUE L’IA ?
Commissariat à l’énergie atomique et aux énergies alternatives
François Terrier, AI program VP, CEA DRT
June 25th, 2021
QU’EST‐CE QUE L’IA ?
« An artificial intelligence is first of all a computer program aiming to perform tasks… » « … previously reserved for humans or presenting a computational complexity
with no known analytical solution »
Symbolique
À apprentissage ‐ connexionniste
• Règles, contraintes
•
 Problèmes de « logique », résultats « exacts »
… Une grosse calculette qui résout de gros problèmes
Le changement est l’approche déclarative, empirique
 « Interpolation entre points de référence »
… Combien d’image pour qu’un réseau reconnaisse un chat ?
… Combien de chat un enfant voit‐il pour les reconnaitre ?
Réseaux de neurones, apprentissage…
Top‐1 Microsoft V‐COCO, T‐2 HICO‐DET data set
Hybride
Prescription médicale
Diagnostic prédictif
Commissariat à l’énergie atomique et aux énergies alternatives
Détection de panne
Detecting Human InterActions
By Only Looking Once
Contrôle qualité
Optimisation trajectoire
Identification et localisation d’objets
François Terrier, AI program VP, CEA DRT
June 25th, 2021
QU’EST-CE QUE L’IA ?
• “L’IA c’est pas que les données”…
Ex : Véhicule autonome  Perception par réseaux de neuronnes
 Décision par IA “symbolique” = IA à base de connaissances structurées
 Oui, mais sans elles (les données) et sans le deep learning on ne parlerait pas d’IA…
 Rôle majeur des données (ne pas se leurrer sur l’enjeu de l’IA « classique »)
•
Distinguer apprentissage et inférence :
IA
Models
&
Algo.
Données
Apprentissage
•
•
Inférence
Faire la part en ce qui peut / doit être fait en local sur chaque objet utilisateur
Partage des apprentissages entre plusieurs utilisateurs (fédératif, centralisé vs distribué)
François TERRIER | 25/09/2020 | 6
QU’EST-CE QUE L’IA ?
Odorat
?
Toucher
?
Perception - Mimétisme
Vision
Systèmes à
apprentissage
Apprentissage machine,
Réseaux de neurones
Systèmes
symboliques
Raisonnement
automatique
Parole
Traitement
des langues
Robotique
Controle
Diagnostic
Planification
Anthropomorphisme !
Analyse de
données
Maîtriser
l’effet buzz
… “biomimétisme”…
… “Bio-inspiré”… pourquoi pas si on analyse avec rigueur l’apport
de la créativité/intuition !
François TERRIER | 25/09/2020 | 7
QU’EST-CE QUE L’IA ?
Odorat
?
Toucher
?
Perception - Mimétisme
Vision
Systèmes à
apprentissage
Apprentissage machine,
Réseaux de neurones
Systèmes
symboliques
Raisonnement
automatique
Traitement
des langues
Parole
Robotique
Diagnostic
Contrôle
Planification
… vs réalité…
Analyse de
données
Automatic report analysis
Lens-free microscopy
Virtual assistant
Medical diagnosis
Energy contract management
Structure Health Monitoring
Individuals identification
Autonomous shuttle
Medical prescription
Predictive diagnosis
Failure detection
Contrôle qualité
Object identification & localisation
François TERRIER | 25/09/2020 | 8
INTELLIGENCE ARTIFICIELLE
ARTIFICIELLE
Des données et
connaissances
Un moteur / algorithme / programme
Un logiciel
Une fonction
Du matériel, standard / dédié
Ca se discute,
ça dépend
Big Data
La rupture, le « buz »
DeepLearning
Efficace !!!
sur la tâche élémentaire
• Perception
• Raisonnement
Commissariat à l’énergie atomique et aux énergies alternatives
“L’IA fait mieux que l’humain
en vision ou parole
Mais…
"... nous avons atteint le niveau humain de cinq manières :
- la transcription de la voix en texte,
- la traduction automatique,
- les réponses aux questions courantes,
- la compréhension globale d'un texte,
- l'ajout des légendes aux images..."
François Terrier, AI program VP, CEA DRT
June 25th, 2021
ARTIFICIELLE
INTELLIGENCE ARTIFICIELLE
Mais…
« Au mieux l’IA apprend un résultat, l’IA n’acquiert pas un processus de reconnaissance,
alors que le processus est un élément clé de l’intelligence humaine »
« Known known »
« Known unknown »
sans notion de
sens commun
« Unknown unknown »
« Poulet » ou « Piéton »
« Rien devant ? »
+
fragile
Bus scolaire
Well come on our
stand
=
=
Autruche
attaquable
Buy this object
ou mal utilisée
80
Report on Tesla first accident - Recommendation
Incorporate system safeguards that limit the use of
automated vehicle control systems to those conditions
for which they were designed. (H-17-41)
François TERRIER | 25/09/2020 | 10
… Ainsi, faut-il s’inquiéter au sujet de la CONFIANCE et la QUALIFICATION
des technologies d’IA ?
CONFIANCE: le besoin est là…
L’apprentissage
machine est devenu
de l’alchimie
Ali Rahimi
(Google)
Les artéfacts
d’ingénierie ont
précédés la
compréhension
théorique
La technologie arrive avec
une faible “maturité” (industrielle)
et d’évidentes faiblesses de definition des
usages, specifications, methods de conception,
notions de robustesse, sécurité
Yann LeCun
(facebook)
François TERRIER | 25/09/2020 | 11
L’ENJEU DE LA SÛRETÉ
… LES PROCESSUS DE DÉVELOPPEMENT NE SONT PAS SOUS CONTRÔLE !
Vrai aussi bien pour l’IA
à base de données que
de connaissances … avec une très forte
pression sur les
réseaux de neurones
Approches formalisée, tracée,
rationnelle
• Exigences
 Fonctions
 Sous-fonctions
 Actions
Une approche empirique
vs
Chaque instruction, chaque valeur
est déduite et justifiée
… vers un 3ième Hiver ?
• Des exigences informelles,
“par l’exemple”
 Essais / erreurs
Très pauvres justifications,
explication du résultat
Exigences informelles avec peu / pas de structuration
Evolution dynamique de la définition des systèmes
Brise tous les principes et processus d’assurance de la
conformité
Commissariat à l’énergie atomique et aux énergies alternatives
François Terrier, AI program VP, CEA DRT
June 25th, 2021
ESSORT DU GÉNIE LOGICIEL
Intégration des techniques
matures de l’IA
LES DÉCEPTIONS DE L’IA
Modélisation (UML),
Méthodes formelles
IA –
Système
raisonneme - Trop de s experts
promesses,
+ déclaratif,
nt
puissance de
intuitif
- complexité,
automatiqu calcul faible
maintenance
e, début
des
« neurones
»
Deep
Learning
/
Données
… LES PROCESSUS DE
DEVELOPPEMENT NE SONT PAS
(encore) SOUS CONTROLE !
… vers un 3ième
Hiver ?
François TERRIER | 25/09/2020 | 13
OPERATIONAL DEPLOYMENT CHALLENGE: WHAT HAPPENS IN THE WORLD?
Recommendations, guidelines, regulations, standards
Human‐centric AI:
‐
‐
Commissariat à l’énergie atomique et aux énergies alternatives
AI system builder is responsible  robustness, safety, privacy, transparency…
Human right must be respected and not subject to automated decision only
François Terrier, AI program VP, CEA DRT
June 25th, 2021
Two societal and economic challenges: Trust and Frugality
A lot of new
applications
Trust
challenge
No
common
sense
Fragile
+ Noise =
Frugality
challenge
A lot of computation on a lot of data
From cloud to edge: to embedded AI closer to the user
Learning and
Inference in
the Cloud
Low Latency (shortest paths)
Reliable operations
Learning and
Inference at
the edge
Commissariat à l’énergie atomique et aux énergies alternatives
(even with intermittent connectivity)
Data Privacy (remain at the edge)
Energy Efficiency (less data exchange)
François Terrier, AI program VP, CEA DRT
June 25th, 2021
15
AI is HUGE and EVERYWHERE!
No
common
sense
Les artéfacts
d’ingénierie ont
précédés la
compréhension
théorique
Yann LeCun
(facebook)
But …
« Known known »
« Known unknown »
« Unknown unknown »
« How?»
Noise
Fragile
+
Scholar bus
Quality
?
=
Ostrich
Heavily
polluting
« Edge »
Embedded
Application
issues
Usage
Commissariat à l’énergie atomique et aux énergies alternatives
« Where »
« Why? »
François Terrier, AI program VP, CEA DRT
June 25th, 2021
Confiance : un ensemble de problématiques
Certification
Qualité
Sûreté de
fonctionnement
Ethique,
impact sociétal
Sécurité,
protection des données
Explicabilité
Fiabilité,
Interprétabilité
robustesse
Imprécision, incertitude
Commissariat à l’énergie atomique et aux énergies alternatives
François Terrier, AI program VP, CEA DRT
June 25th, 2021
TRUST: FORMAL METHODS AND AI… ???
Formal methods a long time ago: The prophecy
Thanks to
Z. Chihani
Fast forward a few decades
1979: “Program verification is bound to fail. We can't see how
it's going to be able to affect anyone's confidence about programs“,
in Social processes and proofs of theorems and programs”, Communications of ACM.
The prophets
By Richard De Millo, Richard Lipton, and Alan Perlis.
‐ ACM, Carnegie Mellon,
‐ Yale, Berkeley,
‐ Distinguished Professor of
Princeton, Georgia Tech Yale, Purdue
Computing at the Georgia Tech
‐ First Turing Award recipient
‐ VP and CTO of Hewlett‐Packard ‐ Knuth Prize winner
What about AI: we have been here before…
Commissariat à l’énergie atomique et aux énergies alternatives
François Terrier,
AI program
VP,PhD.,
CEA DRT
Zakaria
Chihani,
CEA DRT
June 25th, 2021
INDUSTRIAL APPLICATION OF FORMAL METHODS FOR NN VALIDATION
APPLICATION  Detection of mooring line breaks on an oil extraction platform
Analysis of ship's movements
4 groups of mooring lines
1) Formal verification of safety properties  safe operating domain
exhaustive computation and validation of input domains for which the system detects failures
 A global approach (instead of heuristic/« monkey ») (constraint satisfaction methods)
2) Robustness evaluation of the sensitivity to disturbances on the inputs:
 Global (symbolic) approach:
computation of interval of acceptable perturbations for
predefined models (abstract interpretation methods)
Commissariat à l’énergie atomique et aux énergies alternatives
François Terrier, AI program VP, CEA DRT
June 25th, 2021
19
AU‐DELÀ DE LA CONFIANCE : 2 SUJETS CLÉS FORTEMENT ÉMERGEANTS
AVEC DES VERROUS MAJEURS
 Frugal, sobre, embarqué
Données massives Apprentissage profond
Microélectronique
Très grande
performance
Mais…
Vorace

Confusion des enjeux

Pas de vision de bout en bout

La confiance reste clé, mais…
IA FRUGALE et SOBRE de bout en bout pour un numérique de CONFIANCE
Besoin de vision transverse
de l’amont à l’industriel
Inflexion en soutien des projets plans de relance

 Distribué, sécurisé, efficace

Prise de conscience
« aller au‐delà du multi‐agents »

Pas de vision technologiques des
algorithmes aux systèmes

Enjeu clé pour développer le
marché de la décision SoS et
l’apprentissage embarqué
3 atouts majeurs du CEA
Commissariat à l’énergie atomique et aux énergies alternatives
Smart Mobility
Smart Production
Circular Economy
Très grands systèmes,
très évolutifs, agiles Mais…
Incontrôlable
?
IA DÉCENTRALISÉE, résiliente, efficace pour systèmes distribués de CONFIANCE
Inflexion stratégique en anticipation
La confiance, la vision de bout en bout et le passage à l’industriel
François Terrier, AI program VP, CEA DRT
June 25th, 2021
KEY AND NEW TECHNOLOGIES FOR EFFICIENT COMPUTING IN AI
1
Low power
semiconductor
2
3D Integration
Adaptation dynamique
consommation/performance
New technologies for AI
3
In memory
computing
4
Bio‐inspired computing
Commissariat à l’énergie atomique et aux énergies alternatives
François Terrier, AI program VP, CEA DRT
June 25th, 2021
Cloud based learning: very costly in energy, communication…
•
•
Pb of communication: network signal quality…
•
Pb of privacy…
Pb of latency:
eg. Cloud at 1000 km
 communication > 3 msec…
Cloud Infrastructure
(1 000 km / 300 000 kmsec‐1)
Do it localy!
θ
Sending & receiving Data
Computing in the Cloud
(learning and inference)
Sending Data for learning
Receiving parameters
Learning in the Cloud
Inference on device
θ
(as much as possible)
Initiate with learned parameters
Learning and inference on device
FEDERATED LEARNING:
Estimation of vehicle speed from accelerometer data (vehicle vibrations)
OBJECTIVES
Use federated learning to train a model on the local data of many
users without the need to ever upload these data to a central server.
 Inputs: data from a fleet of cars equipped with 3-axis
accelerometers measuring local car’s vibrations.
 Outputs: estimation of the speed of vehicles.
RESULTS
Performance evaluation: ‘model retraining’ improves the accuracy of
the model for each car while ‘model aggregating’ improves the
robustness of the shared model without transmitting any raw data
Toward distributed and decentralized learning
• Efficient, resilient and trusted consensus (multi‐agent decision)
• Federated distributed decentralized learning (no more cloud)
Commissariat à l’énergie atomique et aux énergies alternatives
François Terrier, AI program VP, CEA DRT
June 25th, 2021
23
« Winter is coming… »
 TRUST is a challenge, but sustainability too!
Trusted AI
Green AI
A RECENT ISSUE, BUT A DEEP ONE…
Conception
Deep Learning
Complex
Architecture
Data
Volume
Commissariat à l’énergie atomique et aux énergies alternatives
VGGNet
Millions of
140M
operations
parameters
Acquisition
Inference
Learning : iterative
process
Storage
Not explainable
Not optimizable
Processing
François Terrier, AI program VP, CEA DRT
Deep Learning
is
intrinsically
not
sustainable
June 25th, 2021
La FRUGALITÉ de l’IA un enjeu majeur pour le déploiement industriel
Algorithmie frugale et nouveaux paradigmes d’apprentissage
Au commencement…
il y avait le « Hard Coding »
Et le « Deep learning » est
arrivé ! (avec les données)
… Comment rétablir l’équilibre ?
 le « Machine discovering »
Construire le modèle par évolutions incrémentales
et explicables via les outils mathématiques de la
physique théorique et des évolutions indépendante
de la quantité de donnée (Green)
Au-delà de la connaissance humaine
Durable (confiance + Green)
Modèle 2
…
MODÈLE
INITIAL
EXPLICABLE
Modèle 4
Le bon Modèle du chat,
explicable par construction
Commissariat à l’énergie atomique et aux énergies alternatives
François Terrier, AI program VP, CEA DRT
June 25th, 2021
A typical scenario of research transfer:
COMPUTER VISION FOR AUTONOMOUS DRIVING
2016 : 1ier prize
Common Laboratory
2017
From DATA to IMPLEMENTATION for performance and quality
TOOLS, ALGORITHMS, embedded ARCHITECTURES
Data management
Hybrid Algorithms
(deep learning, symbolic)
Commissariat à l’énergie atomique et aux énergies alternatives
Validation, certification
Optimisation,
deployment
François Terrier, AI program VP, CEA DRT
Architecture, component
June 25th, 2021
DÉVELOPPEMENT RESPONSABLE DE L’INTELLIGENCE ARTIFICIELLE
C’est aussi des enjeux sociétaux
Référentiels normatifs,
légaux
Acceptabilité et éthique
Economie, emploi,
SOUVERAINETÉ
Destruction !
Laws!
« No law, no pb »
Ugo Pagallo, University
of Turin
Ethics!
Moteur de
croissance !
« No autonomous
weapon »
From Automation to Autonomous Systems: A Legal
Phenomenology with Problems of Accountability
France stratégie – Intelligence artificielle et travail,
https://www.strategie.gouv.fr/publications/intelligence‐artificielle‐travail
« Juste » une des composantes du numérique… C’est d’abord un enjeu global de transition numérique
Le jumeau numérique
Couplage vues
Physique / Structure / Fonctionnel
Commissariat à l’énergie atomique et aux énergies alternatives
Les systèmes distribués ouverts
Protocoles
consensus, équité
François Terrier, AI program VP, CEA DRT
June 25th, 2021
Imagine new usages &
understand real needs
Responsible
AI:
Applications
Design, V&V
Certification
Thanks!
New tools
New process
Deployment
technologies
HW/SW
Performance
Cost
TRUST
&
FRUGALITY
will make the
difference
francois.terrier@cea.fr
François Terrier, AI program VP, CEA DRT
28
June 25th, 2021