Qui est responsable ?

justice (2)Justice assistée par ordinateur

Une récente émission sur France Culture parlait de justice assistée par ordinateur.
De quoi s’agit-il ? Les décisions de justice sont habituellement publiques, et facilement consultables par n’importe qui. Elles contiennent les motifs de la décision et la sentence prononcée par le juge. Les outils de l’Intelligence Artificielle permettent d’envisager en faire une analyse. Ils peuvent lire le contenu des arrêts, discriminer les motifs et les sentences, faire une topologie des motifs, comparer avec les lois et réglementations en vigueur, et proposer pour chaque nouvelle affaire une sentence probable.
Un tel travail est-il justifié ? La justice est lente, et une partie de ses retards est due au travail documentaire préalable que juges, avocats, assistants doivent faire pour préparer les décisions de justice. Exécuter ce travail avec des machines accélére le processus et en améliore la qualité. Les machines pourront analyser plus de cas que n’importe quel documentaliste en beaucoup moins de temps. Les prévenus en maison d’arrêt apprécieront que leur jugement soit plus vite rendu.
Mais n’y a-t-il pas un risque au fait que la justice soit rendue par des machines ? Aujourd’hui ces travaux sont présentés comme une simple assistance, le juge restant décisionnaire en dernier ressort. Mais que se passe-t-il si le juge est paresseux, ou débordé par le flot d’affaires. Il risque d’entériner systématiquement les propositions de la machine. Et puis un jour ou l’autre il y aura un budgétaire pour trouver qu’il faut faire des économies, et laisser les machines décider (la porte a déjà été ouverte avec les radars automatiques qui contrôlent la vitesse et le respect des feux rouges).
La justice par les machines n’est plus une question de principe mais une question de temps.

Transparence et traçabilité

Comment s’assurer que la justice rendue par les machines respecte les lois et les pratiques entérinées par la jurisprudence.
L’explication que j’ai donnée en début de chronique peut sembler simple, mais les algorithmes seront complexes à définir, le code difficile à écrire et la collecte de données sera colossale, effectuée par des machines, mais avec l’assistance indispensable de Czi Manuel.
Il s’agit donc d’investissements financiers importants aujourd’hui pris en charge par des entreprises privées. Elles voudront protéger par le secret des affaires et la propriété intellectuelle, le travail qu’elles auront effectué. Redisons que s’il est normal que ce travail soit rétribué, les algorithmes, et les données qu’ils utilisent doivent être transparents, traçables et opposables. Sinon un des principes fondamental du droit serait bafoué. Un accusé doit savoir pourquoi il est condamné, connaître le raisonnement qui a conduit à la décision sur sa peine.
De plus, que ce soit par abonnements, par un paiement forfaitaire, les entreprises qui rendent ce service peuvent se faire rétribuer et n’ont pas à bénéficier de la rente apportée par la propriété intellectuelle et le secret.
Le deuxième risque est que la complexité des algorithmes les rende ingérables. Depuis longtemps, un programme n’est pas écrit de A à Z par la même équipe. Il s’appuie toujours sur des progiciels, un compilateur ou un interprétateur. Ces différentes couches, exécutées par différentes équipes, interagissent entre elles jusqu’à rendre illisible et ininterprétable le code.
Dans leur livre « Le temps des algorithmes », Serge Abiteboul et Gilles Dowek proposent de considérer l’algorithme comme un sujet de droit. L’idée n’est pas aussi loufoque qu’il le parait. Le droit a bien fait des personnes morales (sociétés, associations, Etat) des sujets de droits. Elles n’ont aucune réalité physique, ce ne sont que des créatures virtuelles issues de notre imagination collective. Pourtant, elles ont des droits, des devoirs et des sanctions possibles comme les personnes physiques.
Ceci est-il imaginable pour un algorithme ou un code. Cela parait encore compliqué. D’abord parce que l’algorithme ne choisit pas ses règles de gestion. Elles lui sont données et il ne peut véritablement y déroger. Ensuite parce qu’il ne maîtrise ni son environnement technique, ni les données qu’on y introduit. Si l’algorithme est un sujet de droit, il est pour longtemps un sujet mineur sous tutelle.

Les tutelles

L’expérience des logiciels libres a justifié l’intérêt d’une tutelle. Des fondations comme Apache permettait de faire travailler en commun une grande masse de développeurs tout en conservant des programmes efficaces, car respectant règles de gestion et de fabrication. L’expérience du Bitcoin montre aussi les limites d’un algorithme sans pilote. Sa valeur est totalement spéculative, son cours connait des variations erratiques, faute de lien avec l’économie réelle. Pour encore longtemps les algorithmes seront sous le contrôle d’entités humaines.
Et parce que l’humain peut aussi faire des erreurs, il serait intéressant de disposer d’organismes de contrôles. Comme il existe une Agence du Médicament, de l’Alimentation, ou de la Sécurité Nucléaire, il faudrait penser à une Agence de l’Algorithme et du Code. Son travail ne serait pas de protéger la propriété de nos données, mais de s’assurer que les règles de gestion introduites dans les algorithmes sont conformes aux lois en vigueur, ne posent pas de problème par rapport à la sécurité des personnes, des animaux (encore un sujet de droit récent) ou de l’environnement. Après tout, vue la place qu’ils ont pris dans notre vie, les algorithmes méritent bien la même attention que l’alimentation, les médicaments ou le nucléaire.

Du test, encore du test

Comment savoir si un logiciel respecte les lois, et ne pose pas de problème de sécurité. Bien sûr on peut faire une revue du code, lire les spécifications, pour savoir ce qu’ont voulu faire le maître d’ouvrage et le maître d’œuvre. Mais le résultat ne dépend pas que du programme, il dépend aussi des données qui sont entrées, de l’environnement technique sur lequel il tourne. Et puis les programmes actuels sont de moins en moins rationnels au sens classique du terme (un enchainement de cause et d’effet). Avec les réseaux de neurones et le deep learning, les programmes deviennent probabilistes. L’opérateur demande à la machine de faire simultanément un grand nombre d’opérations, puis celle-ci calcule la probabilité que tel résultat ou tel autre puisse arriver, pour décider celui qui est acceptable. Le fait que la machine ne soit pas capable de définir ses règles ne dit pas que nous soyons capables de prévoir le résultat de l’algorithme.
Alors la seule vrai réponse c’est le test, encore le test et toujours le test. Les concepteurs-développeurs sont comme les vieux paysans, ils ne cessent d’observer ce qui se passe pour essayer de savoir si la récolte sera bonne.

Bibliographie

Serge Abiteboul et Gilles Dowek : Le temps des algorithmes (le pommier-2017)

Cet article, publié dans big data, gouverner, intelligence artificielle, système d'information, est tagué , . Ajoutez ce permalien à vos favoris.

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s