L’Autorité de contrôle prudentiel et de résolution, chargée de l’agrément et du contrôle des banques et des assurances, a travaillé main dans la main avec le secteur bancaire dans le cadre du défi d’explicabilité Tech Sprint. 

Les mercredi 30 juin et jeudi 1er juillet a eu lieu la 1ère édition de ce Tech Sprint, un nouveau format d’évènement imaginé et organisé par le pôle Fintech-Innovation de l’ACPR et dédié à l’exploration de nouvelles techniques répondant au besoin de comprendre le fonctionnement des modèles.

Un rendez-vous à ne pas manquer pour les professionnels et les étudiants voulant se mettre au défi de percer les secrets des algorithmes,puisque ce défi consiste à expliquer des modèles de risque de crédit développés par des établissements de crédit de la Place et exposés en « boîtes noires ».

On parle de « boîte noire » pour caractériser un modèle au fonctionnement masqué, dont seules les entrées et sorties sont observables. Par extension, l’expression désigne aussi les modèles dont le fonctionnement est trop complexe à appréhender, bien qu’observable. Le concept est comparable à celui d’une chaîne d’assemblage dont on examinerait la consommation de matières premières et le produit fini, sans pouvoir observer (ou comprendre) les étapes intermédiaires de réalisation.

Tech Sprint, de quoi s’agit-il ? 

C’est un événement ouvert aux experts du secteur afin de contribuer à définir les éléments d’explicabilité des modèles qui seront utilisés demain.

Le Tech Sprint constitue également une occasion de choix pour promouvoir les échanges et la collaboration entre acteurs du secteur, sous le patronage de l’ACPR, qui se place en position d’organisateur et facilitateur et non de contrôleur des méthodes et outils utilisés durant l’évènement.

Celui-ci poursuit deux objectifs :

• éclairer sur les enjeux réglementaires du déploiement de modèles à la complexité croissante,
• et communiquer à partir d’un cas d’usage sur les niveaux d’explicabilité qu’il est possible de fournir ainsi que sur les formats de restitution envisageables.

Deux sessions de TechSprint : une pour les professionnels et une pour les étudiants 

Deux phases importantes

Première phase

Chaque Concepteur a conçu et entraîné un ou plusieurs algorithmes prédictif(s) du risque de crédit, permettant plus spécifiquement d’estimer une probabilité de défaut des crédits que l’on dénomme « Modèles ». Par la suite, ces Modèles sont exposés via une API sécurisée, où le schéma des données d’entrée et de sortie est défini mais pas le fonctionnement interne ou le type de modèle. Chaque Modèle est donc présenté sous forme de « boîte noire » fonctionnelle et technique.

Deuxième phase

Celle-ci s’est déroulée durant un jour et demi. Le premier jour, les participants, constitués en « Équipes d’Analystes », ont eu pour objectif d’expliquer le comportement et la nature des Modèles proposés, en leur soumettant diverses observations et en observant les probabilités estimées en retour. Le lendemain, chaque équipe a présenté les explications, la documentation et toute autre information qu’elle a pu inférer des Modèles interrogés par ses soins.

Première journée du Tech Sprint organisée par l’ACPR

• 4 concepteurs, partenaires de l’événement aux côtés de l’ACPR (Groupe BPCE, Société Générale, Arkea, Younited Credit)
• 12 analystes : La Banque Postale, Tinubu Square, BourbakIA (AIvidence, H2O…), Crédit Mutuel, Zelros, Quantmetry, DataRobot, BNP Paribas, Crédit Agricole, GPFP (Banque Postale & Caisse des Dépôts), MAIF, NukkAI

Globalement, les analystes ont souligné la difficulté du challenge. Parmi les méthodes d’analyses qui revenaient souvent dans les présentations, nous pouvons citer la grande popularité des valeurs de Shapley, ainsi que l’utilisation fréquente de model surrogates.

En France, les développements en open-source de BPCE et de la MAIF sur le sujet de l’explicabilité ont été salués par l’ACPR, qui les cite dans son Guide de l’analyste, un document très complet mis à disposition des participants en amont de l’évènement :

Il est d’ailleurs notable que les deux équipes d’analystes qui ont utilisé la solution Skope-rules afin d’analyser les modèles sont arrivées en tête du classement. 

Les modèles proposés durant ce Tech Sprint, et notamment ceux du Groupe BPCE, ont permis aux participants de mettre en œuvre des techniques d’explicabilité sur des modèles utilisés en production et ainsi de faire avancer la recherche appliquée à ce type de problématique.

Ce premier exercice portait sur le risque de crédit qui s’avère relativement « simple » à modéliser. L’exercice pourrait être reconduit par l’ACPR pour des sujets jugés plus « compliqués » à modéliser comme la LAB-FT ou les attaques cyber.

Avec le développement de l’algorithme explicable Skope-Rules, et sa participation au Tech Sprint ACPR, le Groupe BPCE reste à l’avant-garde de l’éthique de l’IA, et notamment de l’explicabilité.

Retour sur l’expérience des partenaires et participants lors de ce Tech Sprint !