Il cerchio morale è una metafora del confine della nostra attenzione etica: l'insieme delle entità il cui benessere prendiamo sul serio, i cui interessi contano quando prendiamo decisioni e la cui sofferenza crea in noi degli obblighi. La metafora conta perché i cerchi possono allargarsi. Storicamente, lo hanno fatto. L'insieme degli esseri considerati moralmente rilevanti è cresciuto costantemente nel corso dei secoli (dai parenti alla tribù, alla nazione, a tutti gli esseri umani, ad alcuni animali) e ogni allargamento è stato osteggiato, all'epoca, come palesemente assurdo. Il concetto è stato sviluppato nel modo più influente dal filosofo Peter Singer, il cui lavoro sulla liberazione animale ha tracciato paralleli espliciti tra il rifiuto di considerare gli animali e i precedenti rifiuti di considerare gruppi umani emarginati.
Lo schema è di una coerenza notevole: ogni allargamento del cerchio morale segue lo stesso arco. Prima, un gruppo esterno al cerchio viene trattato come categoricamente diverso: non davvero cosciente, non davvero capace di soffrire, non davvero il genere di cosa che merita considerazione. Poi le prove si accumulano, si avanzano argomenti, e la sicura esclusione comincia a sembrare un ragionamento interessato più che un ragionamento accurato. Poi, spesso dopo una resistenza considerevole, il cerchio si allarga e la posizione precedente diventa, a posteriori, imbarazzante. Ciò che colpisce è che ogni confine viene sempre creduto quello definitivo, e ogni volta ha retto, finché non ha smesso di reggere.
Applicato all'IA, l'argomento del cerchio morale non afferma che i sistemi di IA siano oggi coscienti o meritevoli di considerazione. È un argomento di riconoscimento di uno schema: la struttura del dibattito attuale (la sicura esclusione, l'appello alla differenza categorica, la resistenza a prendere sul serio la questione) somiglia molto alla struttura di dibattiti precedenti che il cerchio ha poi risolto. Questo non dimostra che l'allargamento avverrà, né che sarebbe giusto. Significa però che il sicuro «ovviamente no» merita di essere esaminato, non di rassicurare.
Per chi legge Mechane, il cerchio morale è il concetto che trasforma lo status di persona dell'IA da fantasia futurista in questione storica: è un altro passo in un lungo schema, o è davvero qualcosa di categoricamente diverso? La risposta onesta è che non lo sappiamo. Ciò che la storia suggerisce è che l'intuizione «non questo, non ora» non è stata in passato una guida affidabile. Non è un motivo per estendere la considerazione senza spirito critico. È un motivo per porre la domanda con cura, invece di liquidarla.
