L’impartialité de certains juges mise à mal par l’intelligence artificielle

Article d’origine: https://www.village-justice.com/articles/impartialite-certains-juges-mise,21760.html

Le juge administratif se doit d’être indépendant et impartial (art L721-1, R721-1 et s. du Code de justice administrative sur la récusation ou le fameux article 6 de la Convention européenne des droits de l’homme). Est-il sérieusement envisageable d’attendre d’un homme, aussi vertueux soit-il, une impartialité parfaite ? Probablement pas, et c’est ce que nous montrent les algorithmes « prédictifs ».

Dans le cadre de sa politique open data, l’État français [1] a mis à disposition de tous plus de 350 000 décisions de justice correspondant au contenu du site Légifrance [2]. Face à cette quantité de textes, les outils de recherche existants sont parfois inadaptés.

Parallèlement, la communauté technologique (universités, centre de recherche, petites et grandes sociétés) a fait évoluer de façon spectaculaire les algorithmes prédictifs dédiés à la compréhension du langage humain. L’état de l’art nous permet d’extraire des informations fiables et précises à partir de documents comme un humain le ferait.

Cette combinaison nouvelle, où données juridiques et algorithmes puissants sont disponibles, offre la possibilité de traiter massivement la jurisprudence en vue d’en extraire une vision synthétique et inédite.

Supralegem.fr applique ces algorithmes pour extraire entre autres la qualité du demandeur [3] et du défendeur, la nature du dispositif [4] ou le thème de la décision [5].

Pour cela, nous faisons lire de nombreux textes aux algorithmes puis nous leur posons plusieurs millions de questions, tous textes confondus. Lorsque la réponse est fausse, les algorithmes s’adaptent de manière à ce que cette erreur n’arrive plus (ou qu’elle arrive moins souvent). La procédure est répétée une centaine de fois. Un serveur spécialement équipé, dont la puissance brute équivaut approximativement à une cinquantaine d’ordinateurs classiques, met entre 5 et 6 jours pour tout exécuter. Enfin, les résultats sont mis à disposition pour être interrogés par les juristes en quelques secondes.

La précision de nos résultats se situe entre 90% et 99% en fonction du champ extrait. C’est à notre connaissance la première fois que des algorithmes ayant une forme de compréhension du sens des mots et des phrases sont appliqués à la jurisprudence francaise.

La suite de la méthodologie est simple. Les décisions qui traitent d’une question de droit sont sélectionnées puis agrégées afin de calculer des statistiques par juge ou par cour. Cela permet de comparer, par exemple, le taux de rejet entre plusieurs juges.

Cette approche est véritablement innovante dans la mesure où les tendances sont dégagées à partir de données objectives et vérifiables et non des points de vue subjectifs et des rumeurs. C’est un vrai changement de paradigme.

2/ Le cas des Obligations de Quitter le Territoire Français (OQTF).

Une possible application de cette démarche concerne les demandes d’annulation d’Obligation de Quitter le Territoire Français (OQTF ci-après). Il s’agit de la mesure d’éloignement dont peuvent être frappés les étrangers en situation irrégulière ayant pour conséquence la reconduite à la frontière. Lorsque la demande est rejetée, cela signifie que l’étranger doit quitter le territoire français. Ce contentieux est le plus important en quantité dans les juridictions administratives [6].

La partialité de certains juges en matière d’OQTF est un sujet sensible plusieurs fois dénoncé par différents acteurs du système juridique comme l’assistant de justice @bismatoj sur Twitter en 2015 [7].

L’assistant de justice est un jeune juriste qui assiste un magistrat en rédigeant des projets de décision. L’assistant de justice se voit confier des dossiers par le magistrat rapporteur, et est lui-même chargé d’analyser les échanges d’écritures et les pièces produites devant la juridiction. Dès lors, il se forge une conviction juridique à l’instar du magistrat, et propose un sens du jugement que le magistrat administratif est libre de suivre. Ce sont les magistrats qui ont le dernier mot, mais sur les cas simples, ils reprendront le plus souvent le travail de l’assistant.

Selon cet assistant de justice, certains présidents de chambre demandent, pour les dossiers de demande d’annulation d’OQTF, à ce qu’un projet de jugement de rejet de la demande d’annulation soit systématiquement rédigé avant même d’avoir étudié le dossier au fond et en maîtriser le contexte juridique et factuel. Un jugement de rejet est proposé par l’assistant de justice, y compris lorsqu’il est contraire à sa conviction et que le dossier semble solide et à l’avantage de l’étranger. Pour ces juges, le rejet serait effectivement prononcé dans 90% des cas.

Les algorithmes de Supralegem.fr nous permettent de vérifier cette affirmation en sélectionnant les décisions qui concernent les demandes d’annulation d’OQTF et en calculant les taux de rejet par année, par juge et par cour.

Nous sélectionnons les décisions dont le thème est le droit des étrangers qui contiennent les expressions “quitter le territoire”, “étranger” et “asile”. Nous ne gardons que les affaires où le requérant est un particulier et où le défendeur est l’administration.

Nous pouvons extraire les taux de rejet les plus bas et les plus hauts parmi les juges qui ont émis le plus de décisions. Par “juge”, il faut comprendre président de la chambre qui a statué dans la suite de cet article.

Dans ce premier tableau, les présidents de chambre Tandonnet Turot et Mortelecq ont des taux de rejet exceptionnels supérieurs à 90% durant 3 années consécutives. Et même si ces résultats peuvent être améliorés –lorsque les données sur 2012 et 2013 ne sont pas disponibles – on peut d’ores et déjà être étonné. Les autres résultats présentés sont moins saisissants mais méritent de faire l’objet d’une analyse plus poussée. Plusieurs facteurs peuvent expliquer ces taux de rejet : un afflux de dossiers particuliers dans ces juridictions ou des juges simplement plus rigoureux sur l’application de la loi. Il est toutefois difficile d’écarter complètement l’existence d’un biais.

Pour vérifier si le phénomène n’est pas le même quel que soit le sens du dossier, on a réalisé le même traitement en inversant les parties : requérant = administration, défendeur = particulier. Dans ce cas, aucun enjeu éthique ne tient au fait qu’un magistrat préfère l’intérêt général à la situation individuelle d’un étranger en particulier.

Dans ce second tableau, nous retrouvons les juges Tandonnet Turot et Mortelecq parmi les juridictions qui ont les plus faibles taux de rejet, alors qu’ils ont les plus forts taux de rejet lorsque le demandeur est un particulier. La conclusion semble suggérer que le sens du jugement varie selon la personne qui demande, et non selon la nature du dossier.

Ces résultats ne suffisent pas à affirmer que ces juges ne sont pas impartiaux. Cependant, ils méritent d’attirer l’attention et d’être investigués par les juridictions concernées.

Nous mettons à disposition les données et les méthodes d’analyse afin que chacun puisse reproduire et discuter ces résultats.

Notes de l'article: