Le cercle moral est une métaphore de la limite de notre souci éthique : l’ensemble des êtres dont nous prenons le bien-être au sérieux, dont les intérêts comptent quand nous décidons, et dont la souffrance crée en nous des obligations. La métaphore importe parce que les cercles peuvent s’élargir. Historiquement, ils l’ont fait. L’ensemble des êtres jugés dignes de considération morale s’est étendu régulièrement au fil des siècles — de la parentèle à la tribu, de la tribu à la nation, puis à tous les humains, puis à certains animaux —, et chaque élargissement s’est heurté, sur le moment, à l’accusation d’absurdité manifeste. Le concept doit son élaboration la plus influente au philosophe Peter Singer, dont les travaux sur la libération animale établissaient un parallèle explicite entre le refus de considération envers les animaux et les refus antérieurs envers des groupes humains marginalisés.
Le schéma est d’une constance remarquable : chaque élargissement du cercle moral suit la même trajectoire. D’abord, un groupe situé hors du cercle est traité comme radicalement différent — pas vraiment conscient, pas vraiment capable de souffrir, pas vraiment le genre de chose qui mérite considération. Puis les éléments s’accumulent, les arguments sont avancés, et l’exclusion assurée commence à ressembler à un raisonnement intéressé plutôt qu’à un raisonnement rigoureux. Puis, souvent au terme d’une résistance considérable, le cercle s’élargit, et la position antérieure devient rétrospectivement embarrassante. Ce qui frappe, c’est que chaque frontière est toujours crue définitive — et chaque fois elle a tenu, jusqu’au jour où elle n’a plus tenu.
Appliqué à l’IA, l’argument du cercle moral n’affirme pas que les systèmes d’IA sont aujourd’hui conscients ou dignes de considération. C’est un argument de reconnaissance de schéma : la structure du débat actuel — l’exclusion assurée, l’invocation d’une différence de nature, la réticence à prendre la question au sérieux — ressemble fort à celle de débats antérieurs que le cercle a fini par trancher. Cela ne prouve pas que l’élargissement aura lieu, ni qu’il serait juste. Cela signifie en revanche que le « évidemment non » assuré mérite l’examen plutôt que le réconfort.
Pour un lecteur de Mechane, le cercle moral est le concept qui fait passer le statut de personne de l’IA du fantasme futuriste à la question historique : s’agit-il d’une étape de plus dans un long schéma, ou de quelque chose de véritablement différent par nature ? La réponse honnête est que nous ne le savons pas. Ce que l’histoire suggère, c’est que l’intuition « pas cela, pas maintenant » n’a pas été un guide fiable par le passé. Ce n’est pas une raison d’étendre la considération sans esprit critique. C’est une raison de poser la question avec soin, au lieu de l’écarter.
