O que um único neurônio pode fazer?
Imagine Walter Pitts como um pequeno gênio, nascido numa família severa, onde o seu pai odiava a escola e queria que ele trabalhasse. Imagine Pitts escondido na biblioteca pública à noite, lendo o Principia Mathematica de Bertrand Russell (um dos maiores matemáticos de todos os tempos) e sonhando em desvendar o mundo.
Não conseguindo resistir à tentação, coloco aqui uma imagem do Líder, da revista Incrível Hulk.
Anos depois, Pitts encontra Warren McCulloch, um neurofisiologista muito mais velho e já respeitado. McCulloch explica que quer modelar o cérebro de uma maneira lógica, como os neurônios do cérebro funcionam, as analogias com o modelo de computador de Alan Turing, a Principia Mathematica, e assim vai. Algumas horas depois, fica evidente que Pitts é o cara certo para fazer a formulação matemática do problema.
O neurônio artificial é algo que recebe sinais como entrada, multiplica por um peso e compara o resultado contra um discriminante. Se é maior, a saída é um. Senão, é zero.
O neurônio de McCulloch-Pitts é binário, com poucos neurônios e sem técnica de retropropagação para fitar os pesos. Pitts mostrou que uma combinação desses neurônios pode emular as portas lógicas (ou, e, não) e, fazendo isto, fazer o mesmo cálculo que um computador digital. Na mesma época, os computadores digitais estavam sendo projetados pelo grande John von Neumann (outro gênio), o que significava que eles faziam todas as contas no braço.
Após este trabalho seminal, uma área completamente nova começou a florescer. Hoje, há retropropagação, múltiplas camadas, centenas de milhares de neurônios, várias funções de ativação, dropout, convolução, transferência de conhecimento, regularização… e muito, muito mais a vir.
Paper de 1943:
http://link.springer.com/article/10.1007%2FBF02478259
Este paper tem apenas três citações. Uma delas é o Principia Mathematica de Russell e Whitehead.
Apenas para finalizar esta nota histórica, a vida real não é um conto de fadas, de mendigo a príncipe. A vida de Pitts foi de mendigo a príncipe para mendigo de novo. Walter Pitts entrou em depressão após algumas decepções. Ele começou a beber pesadamente, se isolou cada vez mais de todos os outros, e morreu sozinho, na pobreza. Ele tinha 46 anos.
Fonte: revista Nautil.us.
http://nautil.us/issue/21/information/the-man-who-tried-to-redeem-the-world-with-logic
Conclusão
Walter Pitts trabalhou numa biblioteca à noite, com lápis e papel. Fico me imaginando o que ele poderia fazer, se tivesse um computador digital e técnicas modernas como TensorFlow, Keras, GPU…
Um mundo inteiro foi construído a partir do neurônio de McCulloch-Pitts, e um mundo muito, muito maior está sendo construído. O mundo é grande!
Escrevi este post em inglês no link a seguir, com um complemento técnico em Keras.
