Introduction
L’élaboration de modèles et la prise de décision fondée sur les données sont depuis longtemps des capacités fondamentales à BMO. Au fil des ans, nous avons élaboré des modèles de plus en plus sophistiqués pour prédire le comportement des clients, le risque, la fraude et les résultats opérationnels, le tout dans le but de créer une valeur opérationnelle mesurable. Cela permet d’obtenir de meilleurs résultats pour nos clients et de prendre des décisions plus rapidement pour nos équipes. Pourtant, un défi persistant demeure : la tension entre le rendement prédictif et l’interprétabilité.
Les modèles hautement prédictifs fonctionnent souvent comme des boîtes noires, produisant des prévisions fiables avec une transparence limitée quant aux facteurs à la source de ces résultats. Il s’agit en grande partie d’une structure où les gains d’exactitude proviennent de la saisie d’interactions non linéaires d’ordre élevé parmi des milliers de caractéristiques, et la complexité même qui permet à un modèle de représenter ces interactions est ce qui rend toute prédiction unique difficile à attribuer à un petit ensemble de facteurs facilement explicables. Des approches plus interprétables offrent une meilleure visibilité du comportement du modèle, mais souvent au détriment du rendement prédictif. À mesure que notre organisation continue de faire progresser l’apprentissage machine et l’intelligence artificielle, nous avons l’occasion de convertir des prévisions de plus en plus sophistiquées en intelligence décisionnelle transparente, régie et conçue pour soutenir des résultats d’affaires responsables.
Les grands modèles de langage (GML) et les systèmes fondés sur les agents offrent une occasion de combler ce fossé. Toutefois, le problème le plus difficile n’est pas de bâtir l’agent lui-même, mais de résoudre le problème de traduction sous-jacent. Kristin Milchanowski explore ce défi dans son livre Return on Intelligence, au principe 18, « Reveal Hidden ROI » (Révéler le RCI caché). Ce principe redéfinit les agents comme étant plus que de simples outils d’automatisation des tâches; il s’agit de mécanismes pour découvrir des renseignements et créer des boucles d’apprentissage continu. Pour combler cette lacune, il faut plus qu’une bonne ingénierie de requête; il faut un système qui peut transformer les résultats du modèle en une recommandation à laquelle l’organisation peut donner suite avec une justification et une rétroaction claires et à l’appui qui renforcent les décisions futures.
La couche de traduction
Les résultats statistiques et les décisions d’affaires existent dans des domaines fondamentalement différents : l’un est technique et probabiliste, l’autre est opérationnel et économique. En pratique, les modèles prédictifs sont rarement inexacts. La plupart du temps, ils échouent parce que leurs résultats sont difficiles à mettre en œuvre.
Une cote de propension ou une estimation du risque peut offrir une valeur importante à un scientifique des données, mais les parties prenantes de l’organisation tentent habituellement de répondre à un ensemble différent de questions.
Par le passé, les organisations ont tenté de répondre à ces questions au moyen de tableaux de bord, de visualisations de l’importance des caractéristiques, de grilles de performance, de systèmes fondés sur des règles et d’explications organisées manuellement. Bien qu’elles soient efficaces dans certains contextes, ces approches sont souvent statiques, difficiles à maintenir et déconnectées des flux de travail liés aux décisions d’affaires. Plus important encore, elles imposent le fardeau de l’interprétation à l’utilisateur. Le modèle génère une prédiction, et la partie prenante de l’organisation est responsable de traduire cette prédiction en mesures concrètes.
| Question d’affaires | → Mécanisme de traduction → | Élément du modèle |
|---|---|---|
| Pourquoi la prédiction a-t-elle été faite? | Attribution sur les modèles internes | Attributions des caractéristiques / valeurs SHAP |
| Quels facteurs y ont contribué? | Classement et regroupement des facteurs | Contributions des caractéristiques pondérées |
| Quelles mesures peuvent être prises? | Mise en correspondance des facteurs avec un catalogue de mesures | Ensemble d’interventions admissibles |
| Quelle mesure est la plus susceptible d’améliorer le résultat? | Estimation contrefactuelle / de l’effet incrémental | Delta prévu par action |
| Quelles preuves appuient cette recommandation? | Récupération des cas justificatifs et de la politique | Précédents et règles cités |
Dans bien des cas, la traduction est exactement ce dont la gouvernance, le cas d’utilisation ou les utilisateurs finaux ont besoin. Un directeur, Gestion relationnelle qui examine plusieurs comptes doit interpréter le modèle, faire preuve de jugement que le système n’a pas et prendre en charge la décision. L’interprétation y est une caractéristique importante pour s’assurer que la qualité de l’IA est maintenue à un niveau élevé. Notre objectif était d’ajouter cette étape de traduction dans le système lui-même.
Des moteurs de prédiction aux moteurs de décision
Notre objectif n’était pas simplement d’ajouter une interface conversationnelle à un modèle existant. Nous avons plutôt cherché à étendre un moteur de prédiction à un moteur de décision, en préservant tout ce que le modèle prédictif fait déjà bien et en renforçant la couche de décision.
Pour ce faire, nous avons conçu une architecture composée de trois couches complémentaires :
1. Couche prédictive : Estime ce qui est susceptible de se produire
Cette couche contient des modèles traditionnels d’apprentissage machine ou d’IA qui quantifient les risques ou les occasions futurs. Selon le cas d’utilisation, il peut s’agir de la probabilité d’acquisition d’un client, d’une cote de probabilité de fraude, d’une estimation du risque de crédit ou d’une autre prédiction.
2. Couche causale : Estime les mesures les plus susceptibles d’influencer le résultat
Les modèles prédictifs traditionnels sont conçus pour répondre aux questions suivantes :
- Que devrait-il se passer?
Ils ne sont pas conçus pour répondre aux questions suivantes :
- Quelle intervention changera ce qui se passe?
Cette distinction est essentielle. En appliquant des techniques d’inférence causale, nous pouvons estimer l’incidence supplémentaire de différentes interventions et distinguer les actions qui sont simplement corrélées aux résultats positifs de celles qui sont susceptibles de les favoriser.
3. Couche agentique : Le mécanisme de traduction
Cela combine les prévisions du modèle, les renseignements causals, les politiques d’affaires, les résultats historiques et les renseignements contextuels pour générer des recommandations prêtes pour décision. Plutôt que de faire ressortir les résultats bruts du modèle, l’agent produit des explications, des preuves à l’appui et des mesures recommandées qui correspondent aux objectifs d’affaires.
Le résultat est un système qui va au-delà des prédictions et vers un soutien à la décision.
Conception axée sur la confiance
Bien que les GML soient très efficaces pour synthétiser l’information et générer des explications en langage naturel, ils peuvent également introduire un raisonnement difficile à valider. Dans le cas des demandes de soutien à la prise de décision au sein d’une institution financière, l’explication et la vérifiabilité sont essentielles.
Pour y remédier, nous avons conçu le flux de travail de manière à ce que les recommandations soient fondées sur des résultats structurés tirés de modèles prédictifs, de cadres d’inférence causale, de politiques d’affaires et de données contextuelles approuvées. Cette approche préserve les forces de l’apprentissage machine traditionnel et de l’IA, de la rigueur statistique, de la reproductibilité et du rendement mesurable, tout en tirant parti des GML pour améliorer l’accessibilité et la convivialité.
L’objectif n’est pas de remplacer les modèles prédictifs par des agents, mais plutôt de les augmenter avec des agents qui peuvent transformer les prévisions en recommandations concrètes étayées par une justification claire.
Exemple pratique : Attrition de clientèle
Pensez à un modèle d’attrition de clientèle qui prévoit qu’un client a une probabilité de 78 % de quitter la Banque au cours des quatre à six prochains mois.
Du point de vue de la modélisation, il s’agit d’une prédiction précieuse. Le modèle peut avoir repéré des tendances, comme une baisse de l’utilisation des produits, une diminution de l’utilisation des solutions numériques, une réduction des soldes des comptes ou un changement des comportements transactionnels. Ces signaux indiquent collectivement un risque d’attrition élevé.
Traditionnellement, le résultat présenté à une partie prenante consiste en une cote de risque accompagnée de mesures de l’importance des caractéristiques expliquant les principaux facteurs de la prédiction.
Bien qu’utile, une question essentielle demeure sans réponse : Que devrions-nous faire à ce sujet?
C’est là que l’architecture de décision intelligente devient précieuse.
Plutôt que de présenter une liste des facteurs contributifs, le système peut expliquer que le client a démontré un déclin soutenu de son utilisation de plusieurs produits au cours de plusieurs trimestres, une tendance qui a toujours précédé la perte d’une relation bancaire principale.
La prochaine étape est celle qui compte le plus, et c’en est une que les modèles prédictifs ne peuvent pas gérer seuls : déterminer si une intervention peut changer ce résultat. Comprendre les clients en tant qu’individus et personnaliser leur expérience tout en maintenant leur confiance a toujours été au cœur de la façon dont BMO exerce ses activités, de sorte qu’il n’est que naturel que nous l’intégrions à nos systèmes d’IA. L’inférence causale est la façon dont nous intégrons cette même norme à la couche du modèle. Cela nous permet de demander non seulement ce qu’un client est susceptible de faire, mais aussi ce dont il a besoin pour maintenir une relation productive et positive avec l’organisation.
À l’aide de l’inférence causale, nous pouvons estimer l’incidence prévue de différentes interventions. Par exemple, l’analyse peut révéler que certains segments de clients qui font l’objet d’une communication proactive de la part d’un directeur, Gestion relationnelle ont connu des taux d’attrition considérablement moins élevés, tandis que les clients qui reçoivent des offres promotionnelles génériques affichent peu d’amélioration mesurable. Cette différence est importante. La mesure recommandée n’est pas sélectionnée parce qu’elle est associée à des résultats positifs, mais parce qu’il y a des preuves que l’intervention elle-même contribue à un meilleur résultat.
L’agent combine ensuite ces renseignements à une recommandation prête à être utilisée par l’organisation, expliquant ce qui suit :
- les raisons pour lesquelles le client est à risque;
- les preuves à l’appui de cette évaluation;
- quelle intervention devrait avoir la plus grande incidence;
- le degré de confiance à l’égard de cette recommandation.
Le résultat n’est pas une recherche dans une base de données avec une meilleure grammaire. Il s’agit d’un récit : un compte rendu cohérent de ce qui se passe avec ce client, des preuves à cet égard, de ce qui pourrait être fait à ce sujet et de notre confiance à l’égard de la réponse. Ce récit est fondé sur des données, mais il est présenté dans le langage de la décision que l’utilisateur doit prendre. La traduction est le produit
La couche prédictive répond aux questions suivantes : Que devrait-il se passer?
La couche causale répond aux questions suivantes : Quelles mesures peuvent changer ce qui risque de se produire?
La couche agent répond aux questions suivantes : Compte tenu de ces renseignements, que devrions-nous faire ensuite? Ensemble, ces capacités transforment un système prédictif en un système d’aide à la décision.
Conclusion
Depuis des décennies, les analyses prédictives se concentrent sur les prévisions de résultats futurs. Bien que les prévisions demeurent essentielles, la valeur opérationnelle est ultimement réalisée par la prise de mesures.
La combinaison du développement de modèles, de l’inférence causale et des systèmes fondés sur les agents nous permet de faire plus que déterminer ce qui va se passer et de commencer à répondre à une question plus importante : comment pouvons-nous mieux soutenir nos clients dans la vie, comme en affaires?
La difficulté n’est pas d’améliorer les prédictions, mais plutôt de traduire les prédictions en véritables décisions que quelqu’un prendra.
