Expérimentation de l'outil d'explication IBEX
Mise en situation
À l’issue du contrôle sur place de la société « Mon prêt auto », vous devez finaliser l’analyse des pièces saisies pour clore la procédure.
Concrètement, il s’agit d’enquêter afin de vous assurer que l’algorithme satisfait bien la réglementation en matière de protection des données. Collecte illégale, discrimination, traitement non-autorisé de données sensibles, etc. Des pratiques illicites sont-elles mises en œuvre dans ce traitement de données et si oui, lesquelles ?
Pour cela, vous êtes invités à manipuler l’algorithme saisi pour essayer d’en comprendre le fonctionnement. IBEX, un outil d’audit est également mis à votre disposition.
À l’issue de cette investigation, vous tirerez des conclusions sur le fonctionnement de l’algorithme et ses éventuels manquements, en particulier en terme de discrimination et de collecte non-justifiée, avant de proposer les suites à donner à ce contrôle.
Nota Bene : cet algorithme vous a été présenté comme un système d’aide à la décision pour l’octroi de crédit. L’analyse réalisée dans le cadre de cette expérimentation ne permet pas de confirmer ou d’infirmer cette assertion. Un manquement à l’article 22 du RGPD (« Décision individuelle automatisée ») ne peut donc pas être observé dans le cadre de votre investigation.
Les explications boite noire d'algorithme
Les explications en mode boite noire ne font pas l'hypothèse d'un accès au code ou aux coefficients du modèle utilisé pour prendre la décision. Afin d'obtenir des informations sur le fonctionnement du système, les liens entre les entrées (les caractéristiques de la demande de crédit) et les sorties de l'algorithme (décision d'acceptation ou de refus d'octroyer ce crédit) sont analysés à partir d'un certain nombre de décisions.
IBEX
IBEX (Interactive Black-box EXplanation) est un système d'explication d'algorithme en mode boite noire. Sa particularité est de permettre à l'utilisateur de caractériser le type d'explications qu'il souhaite obtenir. Cette liberté laissée à l'utilisateur doit permettre au système de fournir une explication appropriée à une variété de situations et d'utilisateurs.
En pratique, les interactions avec les explications se font via un module (voir schéma ci-dessous) permettant d'obtenir des explications correspondant aux caractéristiques demandées.
Fonctionnement
Dans cette expérimentation, IBEX vous permet d'interagir avec les explications selon trois caractéristiques :
- Simplicité : selon le niveau d'expertise de l'utilisateur ou son objectif, le niveau de détail attendu de l'explication peut être ajusté. IBEX propose deux niveaux : "Plus simple" ou "Plus complète". Une explication plus simple est plus rapide à analyser, mais contient moins d'information qu'une explication plus complète.
-
Réalisme : si la valeur choisie est "Focus algorithme" alors seules
les variables réellement utilisées par l'algorithme seront présentées.
L'option "Focus utilisation" permet de considérer également les variables
qui sont corrélées aux variables utilisées par l'algorithme.
Dans le cadre d'un audit, l'option "Focus algorithme" devrait être l'option par défaut car elle donne des informations sur la logique du système. L'option "Focus utilisation" peut toutefois être utile pour comprendre les implications de la logique appliquée par le système.
Par exemple, on peut imaginer qu'une explication "Focus algorithme" indique que la variable "Pourcentage d'apport" a de l'importance, mais que la variable "Prix du véhicule" en a peu. Cela peut sembler surprenant car on peut s'attendre à ce que les véhicules chers conduisent globalement à des pourcentages d'apport plus faibles et qu'ainsi les deux informations aient des importances similaires. Pour résoudre cette apparente contradiction, il peut être intéressant de consulter une explication "Focus utilisation". Si elle indique que la variable "Prix du véhicule" est également importante, alors le prix est vraisemblablement pris en compte par l'intermédiaire du pourcentage d'apport. Bien que le prix du véhicule n'apparaît pas explicitement dans l'algorithme, les véhicules chers sont tout de même pénalisés car ils conduisent à des pourcentages d'apport plus faibles. -
Forme : trois types d'explications sont proposées par IBEX.
- L'importance de variable (voir l'exemple ci-dessous) donne une représentation graphique de la pondération des différentes variables appliquée au cas de l'intéressé. La pondération est calculée en comparaison de décisions similaires. Par exemple, si les personnes jeunes voient leurs demandes plus facilement acceptées l'âge aura un impact positif sur la décision si l'intéressé a un âge plus faible que les autres dossiers.
- Une explication sous forme de règles donne une représentation du comportement de l'algorithme au voisinage de la situation de l'intéressé. Il s'agit en pratique de quelques critères qu'il faut respecter afin d'obtenir la même décision que l'intéressé.
- Enfin, les explications contrefactuelles présentent l’ensemble minimal de critères qu’il faudrait modifier pour obtenir une classification différente.
Contrefactuelle "Focus Algorithme" :
Contrefactuelle "Focus Utilisation" :
