Nos anos 90, li pela primeira vez sobre as 3 leis da robótica no livro “Eu, Robô” de Isaac Asimov.
Não levei o livro nem um pouco a sério, afinal era apenas ficção científica. Estávamos muito longe de ter robôs inteligentes. E o livro também tinha passagens que poderiam parecer futuristas em 1950, mas em 1995 já não eram. Por exemplo, um dos personagens tinha um taquígrafo de bolso – um taquígrafo é tipo uma máquina de escrever que permitia uma digitação super rápida. Porém, em 1995 as máquinas de escrever já estavam em seu suspiro final.
Nunca imaginei que reencontraria os conceitos de Asimov, e dessa vez seriamente, mais de vinte anos depois.
E há um motivo forte para isto. A singularidade está próxima.
The end is nigh
A singularidade é o momento em que os computadores serão mais inteligentes do que nós. Este é um termo cunhado por Ray Kursweil, um pesquisador futurista. Kursweil prevê que isto deva ocorrer por volta de 2045.

Mas, profecias à parte, o que é relevante para nós é que está havendo um avanço tecnológico imenso. Os algoritmos estão sendo cada vez mais parte de nossas vidas.
Em um futuro não tão distante, aplicações de internet das coisas, veículos autônomos, computação avançada, inteligência artificial, robotização de processos, estarão presentes em nossas vidas. O avanço exponencial destas tecnologias é traduzido pela Lei de Moore, que diz que o poder computacional dobra a cada 18 meses, para o mesmo custo de produção.
Portanto, não precisamos atingir a singularidade para termos problemas com tal escalada tecnológica. Este futuro trará não apenas problemas técnicos, mas verdadeiros problemas éticos.
A ética robótica
Algumas perguntas esparsas:
- De quem é a responsabilidade em caso de acidentes com veículos autônomos?
- Um robô pode ferir um ser humano?
- O que acontece se um texto, ou um chatbot, ofender um ser humano?
- Haverá perda de autoridade humana, caso os robôs fiquem melhores do que nós no prognóstico de doenças (exemplo: médicos x autodiagnóstico no Google)?
- Uma máquina pode mentir se for para um bem maior? E como uma máquina poderia avaliar o que é um “bem maior”?
- Como evitar problemas afetivos com robôs? Este caso pode parecer bizarro, mas, no Japão há pessoas que se apaixonam por personagens em quadrinhos, porque não haveriam pessoas que se apaixonem por robôs?
A ficção científica está se encontrando com a realidade. Há alguns pesquisadores renomados, atuando no assunto “Ética robótica”. Tive a sorte de ver a palestra de um deles, o prof. Edson Prestes, da UFRGS.
O prof. Prestes faz parte de um grupo do IEEE (Instituto de engenheiros elétricos e eletrônicos), que está estudando um série de normas para guiar o desenvolvimento no assunto.
Esta é a “Iniciativa global por considerações éticas em inteligência artificial e sistemas autônomos”.
É onde a filosofia encontra a tecnologia.
É onde a Eudamonia de Aristóteles (práticas que definem o bem-estar da humanidade) de 3000 anos atrás, encontra-se com alguns dos maiores engenheiros eletrônicos do mundo atual. Literalmente. Vide o print do sumário executivo do grupo.
A ética, mesmo para humanos, é extremamente complexa, um assunto sem fim. Com a participação de robôs, e interações humano-humano, humano-robô, robô-robô, abre-se um leque inimaginável de possibilidades e dilemas éticos.
Espera-se que iniciativas como a do IEEE ajudem a humanidade a projetar um futuro em que os robôs realmente sejam parte de nosso ecossistema. Para maiores informações sobre os temas de trabalho do IEEE, vide links ao final do documento.
As Três Leis da Robótica
Retornando ao início, é impossível falar de ética robótica sem falar das três leis de Asimov. Coloque tal tema em discussão, e com certeza alguém vai levantar este ponto.
Asimov, no conto Runaround (algo como “correndo em círculos”) do livro “Eu, Robô”, expõe as três leis da robótica.
1) um robô não pode ferir um humano ou permitir, por omissão, que um humano sofra algum mal;
2) os robôs devem obedecer às ordens dos humanos, exceto nos casos em que tais ordens entrem em conflito com a primeira lei; e
3) um robô deve proteger sua própria existência, desde que não entre em conflito com as leis anteriores.
As 3 leis são hard-coded nos circuitos positrônicos (termo de Asimov, seja lá o que for) dos robôs, de forma que não há possibilidades deles não cumprirem tais diretrizes.
As três leis parecem muito boas. Entretanto, sendo um excelente escritor, Asimov dá um jeito de criar um situação em que as leis se contradizem. Ele cria um bug, um bug lógico.
Quem sabe programar conhece bugs lógicos. Algo como:
i := 1
while (i >0) do:
i++
i – –
print i
end
Tal programinha nunca vai parar, fica em loop infinito.
E é impossível, de antemão, saber se um programa vai ou não parar (este é o Halting Problem, provado por Alan Turing e que foi uma das pedras fundamentais para o início da computação).
O bug lógico de Runaroud é mais ou menos assim:
– humanos mandaram o robô (chamado Speedy) coletar selênio, essencial para a sobrevivência deles
– entretanto, o humano não colocou muita ênfase na importância da ordem
– Speedy, sendo um robô muito avançado e caro, tinha ênfase especial na lei 3 (ele mesmo sobreviver)
– o local para coleta de selênio era extremamente perigoso, quando Speedy se aproximava da fonte, ele recuava para se proteger (lei 3)
– quando ficava longe o suficiente para ficar seguro, a lei 2 (obedecer à ordem humana) tinha peso maior, e ele tentava retornar à fonte
– Speedy ficou horas nesse loop infinito, se aproximando e se afastando da fonte de selênio.
O selênio estava acabando, e os astronautas (humanos) iriam morrer. Eles foram atrás de Speedy, detectaram o problema. Como Speedy era rápido demais (daí o seu nome), eles não conseguiam alcançá-lo para dar outra ordem. Os astronautas tentaram uma solução: enfatizar a lei 3. Jogaram umas substâncias tóxicas (para o robô) no trajeto – assim tinham a esperança de quebrar o loop e fazer ele retornar à base.
Não deu certo. Speedy encontrou outro ponto de equilíbrio: ia até o local onde as substâncias tóxicas estavam, recuava, e tentava de novo, infinitamente.
Numa tentativa desesperada, eles imaginaram uma forma de utilizar a lei 1, especialmente a parte que diz que um robô não deve permitir que um humano sofra algum mal por omissão. Esta era a última esperança, o selênio da base estava acabando e não havia mais tempo.
Teriam os astronautas se safado? Ou não?
A história original é interessante demais, e recomendo a leitura, para saber o final da história.
Conclusão
Fica a provocação final: mesmo estudando profundamente todo o comportamento robótico e humano, e mesmo estabelecendo regras éticas a serem seguidas rigidamente pelos robôs pós-singularidade, não haverão bugs impossíveis de serem descobertos a priori?
A lei Zero da robótica: “Um robô não pode causar mal à humanidade, ou, por omissão, permitir que a humanidade sofra algum mal” – Isaac Asimov.
“Se o nosso cérebro fosse tão simples a ponto que pudéssemos entendê-lo, seríamos tão simples que não o entenderíamos” – Lyall Watson, biólogo.
“Me desculpe, Dave, mas receio que não posso fazer isso” – HAL 9000, no filme 2001, uma odisseia no espaço.
Links
http://standards.ieee.org/develop/indconn/ec/autonomous_systems.html
http://www.inf.ufrgs.br/~prestes/site/Welcome.html
https://futurism.com/kurzweil-claims-that-the-singularity-will-happen-by-2045/