Confiance, facilité, transparence... et problèmes
Les fiches de notation aident traditionnellement les institutions financières à évaluer la solvabilité d'un demandeur de prêt et à orienter la décision de prêt. Pour en créer une, des experts connaissant bien les activités d'une institution aident à sélectionner et à pondérer une série de variables afin d'évaluer le risque de crédit d'une personne. Par exemple, une institution de microfinance proposant des prêts aux petites entreprises peut inclure le profil sociodémographique, l'historique des paiements, l'activité commerciale, les garanties et d'autres activités financières telles que l'épargne et l'assurance.
Le résultat est un système de confiance Il s'agit d'une "carte de pointage expert" dont la mise en œuvre ne nécessite que très peu d'expertise technique. La plus simple peut être calculée à la main, ce qui permet à l'institution de déterminer rapidement si le demandeur atteint le seuil nécessaire pour obtenir un prêt. En raison de cette simplicité, les cartes de score expertes peuvent être faciles à comprendre pour les clients et les régulateurs, et même - si l'institution le souhaite - être totalement transparentes.
Aussi simples et directs qu'ils soient, les tableaux de bord des experts sont de plus en plus considérés comme problématiquesElles souffrent de la partialité des personnes qui les créent, peuvent exposer les institutions financières à davantage de risques et même compromettre leur mission d'inclusion financière. Voyons pourquoi.
Partialités dans l'élaboration des cartes de pointage des experts
Les défis posés par les tableaux de bord d'experts commencent par leur construction. Qu'il s'agisse du choix de l'échantillon pour créer l'algorithme, ou des variables sélectionnées et du poids qui leur est accordé, il existe un certain nombre de façons dont les les préjugés de l'homme peuvent compromettre leur efficacité en tant qu'outil d'évaluation.
sélection de variables biaisées
Pour qu'une carte de crédit soit efficace, le score de crédit final doit être objectivement corrélé avec les comportements de remboursement futurs. Cependant, les variables sélectionnées par des experts individuels sur la base de leur expérience peuvent ne pas être celles qui ont le plus grand pouvoir prédictif pour l'ensemble de la clientèle. Leur inclusion dans la carte de score peut aboutir à un système fortement biaisé par l'expérience subjective d'un ou de quelques experts. D'après notre expérience, il n'est pas rare que les variables sélectionnées dans les cartes de pointage ne soient pas corrélées - ou pire, qu'elles soient inversement corrélées - avec les autres variables de la carte de pointage.
Partialité de la pondération
Ce ne sont pas seulement les variables sélectionnées qui peuvent poser problème, mais aussi la manière dont elles sont pondérées. Par exemple, lorsqu'un établissement de crédit choisit de donner plus de poids à des variables sociodémographiques présentant une forte colinéarité (c'est-à -dire une corrélation), la carte de score peut produire des résultats aberrants. Nous avons parfois observé cette situation : Le client A, avec un excellent historique de remboursement et d'épargne, est noté comme non éligible ; le client B, avec un profil similaire, une couverture de garantie moindre et plusieurs arriérés de crédit, est noté comme éligible - simplement en raison du poids des variables sociodémographiques.
Sample selection bias
Another important source of error that is often overlooked is sample selection bias. This occurs when the default data on which the algorithm is based comes from, for example, customers who already have a credit history and who have therefore already been selected beforehand by a credit committee.
This can produce a vicious circle: the algorithm continues to favour the same type of customers already selected by the credit committee, while it continues to exclude customers similar to those not selected, even though they haven’t had the chance to prove themselves yet. Several studies have also shown excluding higher risk customers from the data sample results in less accurate predictions for all applicants.
Inflexibility leads to unfairness
In addition to sample bias in construction, the inflexible construction of expert scorecards and the credit scoring system can result in other kinds of unfairness for customers.
By their very nature, scorecards are inflexible. They’re a static representation of a person’s financial situation at a given moment. While that situation can change – even rapidly – the person’s score does not. And people are rarely given the opportunity or incentive to positively influence the variables that determine their score. For instance, a positive change of repayment behaviour on the customer’s part will not necessarily be rewarded by a better score.
Additionally, credit thresholds determined by expert scorecards may fail to take into consideration the size of the request, with applicants classified as risky or not regardless of how much they want to borrow. However, an applicant’s ability to repay is never absolute, but relative to the amount requested: a customer judged a high risk for a standard small business loan may still be perfectly able to repay a nano loan.
These inflexibilities and oversights can make the scorecard result something of a sentence – once ineligible, always ineligible. They can unfairly reinforce exclusion, and lead to frustration on the part of the customer and ultimately affect their relationship with the bank.
Unnecessarily complex and unscalable
Finally, despite the potential for simplicity described above, the scorecard’s actual simplicity is conditioned by the number and complexity of its variables. It’s not uncommon to find scorecard models built with dozens of variables with multiple thresholds, resulting in extreme complexity for the scorer.
For example, if a scorecard has 12 variables, each with a different threshold (e.g. for age: 1 point if the customer is less than 20 years old, 5 points if they’re 20-30 years old, 10 points if they’re 30+, and so on) it can result in thousands of possible configurations. Each one of those configurations leads to a unique decision – and the sheer number of decisions necessary increases the likelihood of error.
To make matters worse, variables are not always clearly defined and sometimes require additional data collection, which results in wasted time for loan officers.
This means that expert scorecards can be a challenge to successfully use, scale up and automate, making it difficult to handle large numbers of applicants in a timely manner.
The end of the expert scorecard?
Despite the perceived trust, ease and transparency of expert scorecards, this approach has many limitations which can cost the financial institution in wasted time, missed opportunities, and poor risk management. Customer inclusion and satisfaction can also be severely compromised because of construction bias and a customer’s inability to improve their score when their financial situation changes, or through good behaviour.
Thankfully, however, we’re now in a much better position to overcome the limitations of expert scorecards. Recent developments in behavioural and data science have seen the emergence of a range of data-intensive and AI solutions that can help financial institutions improve their credit scoring – and help them say goodbye to the limitations of the expert scorecard.