Par Gérard HAAS et Paul BERTUCCI
Et si l’on vous refusait l’accès à une école ou l’obtention d’un poste, sur la base de critères décisionnels discriminants, sans même que vous le sachiez ?
Vous ne le réalisez peut-être pas mais les algorithmes nous entourent partout au quotidien.
C’est d’ailleurs ce manque de conscience collective qui constitue un danger potentiel pour nos droits et libertés.
1. Des décisions discriminatoires biaisées
Dépourvus de toutes pensées ou opinions, les algorithmes devraient en théorie afficher une objectivité et une impartialité totale concernant les informations traitées. Toutes formes de discriminations devraient ainsi être écartées. Sauf qu’en pratique, les algorithmes ne sont que le pur produit de l’homme et des critères qu’il souhaite retenir, ce qui rend dès lors inévitable l’apparition de biais dans le processus de sélection et/ou de décision.
Le bât blesse notamment lorsque des systèmes algorithmiques se mettent à reproduire, au regard des données collectées, des comportements discriminatoires déjà établis au sein de la société, sans qu’il soit possible de démontrer le caractère intentionnel de ces biais.
En d’autres termes, si un système de recrutement traite des données où les femmes sont moins représentées et accèdent peu à des postes à responsabilité dans un secteur donné, l’algorithme prendra ainsi ces paramètres en compte et ne donnera en général pas suite aux candidatures féminines, reproduisant inlassablement les inégalités homme/femme sur ce terrain.
De même, si le système d’admission d’une Université parisienne est habitué à traiter un nombre considérable de dossiers provenant de lycéens parisiens, ces derniers auront tendance à être privilégiés vis-à-vis de leurs camarades scolarisés en dehors de Paris intra-muros. Pour prouver une discrimination, il faudrait réussir à démontrer que ces derniers ont été recalés uniquement en raison du lieu géographique de leur établissement, ce qui est en l’espèce très compliqué.
2. Les recommandations du Défenseur des droits sur le sujet
Le Défenseur des droits et la CNIL ont dernièrement mené des travaux de pensée en collaboration avec des techniciens de l’informatique et du droit, afin de pointer du doigt les dérives de certains algorithmes et de réfléchir à des solutions menant vers plus de transparence et d’éthique.
Quatre recommandations ressortent de ce rapport :
- Former et sensibiliser les professionnels du secteur
Des interventions qui aborderaient des thématiques juridiques et éthiques, faisant prendre conscience des risques pesant sur les droits fondamentaux et sur les conséquences sociales seraient les bienvenues.
- Soutenir la recherche
Le développement d’études de mesure et de prévention des biais, couplé à une volonté de démocratiser le « fair learning », c’est-à-dire des outils décisionnels répondant à des objectifs d’égalité et de compréhension, et non seulement de performance, constituerait un enjeu majeur de la recherche.
- Renforcer les obligations légales
Un renforcement pédagogique à l’égard des usagers et personnes concernées, mais également des tiers et des professionnels utilisateurs de ces systèmes, en matière d’information, de transparence et d’explicabilité des algorithmes s’imposerait, afin de les mettre en condition pour détecter d’éventuels biais. Ces obligations légales devraient concerner tant les algorithmes du secteur privé que du service public.
- Réaliser des études d’impact
Il conviendrait, afin de prévenir de futurs effets discriminatoires, d’opérer des contrôles sur les algorithmes après leur mise en service. L’analyse d’impact relative à la protection des données est encadrée par le Règlement Général sur la Protection des Données (RGPD) et est requise pour certains types de traitements. Rendre obligatoire des études d’impact pour l’ensemble des algorithmes permettrait de lutter contre d’éventuelles discriminations.
3. Le cadre juridique et les sanctions applicables
L’insertion volontaire de critères discriminants au sein d’un algorithme basés notamment sur :
- l’origine,
- le sexe,
- le patronyme,
- le lieu de résidence,
- l’appartenance ou la non-appartenance, vraie ou supposée, à une ethnie, une Nation ou à une prétendue race ou une religion d’une personne
sont prohibés et réprimés pénalement par la loi. 3 ans d’emprisonnement et 45 000€ d’amende sont d’ailleurs prévus pour le délit de discrimination. Ces mêmes critères constituent des données personnelles sensibles, dont le traitement est en principe également interdit par le RGPD.
De plus, l’article 22 du RGPD dispose que les personnes concernées par le traitement de données personnelles ont le droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé, y compris un profilage, qui produirait des effets juridiques les concernant ou qui les affecterait de manière significative. Une candidature pour un poste entrerait a priori dans le champ de cet article.
Pour les entreprises, la violation des règles édictées ci-dessus pourrait entraîner de très lourdes conséquences financières, puisque le RGPD prévoit des amendes pouvant aller jusqu’à 20 millions d’euros ou 4% du chiffre d’affaires. Il leur est donc conseillé de faire preuve d’une grande vigilance et de veiller à la conformité de leurs systèmes algorithmiques.
***
Le cabinet HAAS Avocats est spécialisé depuis plus de vingt ans dans la protection des données personnelles. Il se tient à votre disposition pour vous assister dans la conformité de vos traitements de données. Pour en savoir plus, contactez-nous ici.
