Redes Neurais

O que um único neurônio pode fazer?

A primeira noção de neurônio artificial é de um paper de 1943, por dois sujeitos: Warren McCulloch e Walter Pitts.

Imagine Walter Pitts como um pequeno gênio, nascido numa família severa, onde o seu pai odiava a escola e queria que ele trabalhasse. Imagine Pitts escondido na biblioteca pública à noite, lendo o Principia Mathematica de Bertrand Russell (um dos maiores matemáticos de todos os tempos) e sonhando em desvendar o mundo.

Não conseguindo resistir à tentação, coloco aqui uma imagem do Líder, da revista Incrível Hulk.

Anos depois, Pitts encontra Warren McCulloch, um neurofisiologista muito mais velho e já respeitado. McCulloch explica que quer modelar o cérebro de uma maneira lógica, como os neurônios do cérebro funcionam, as analogias com o modelo de computador de Alan Turing, a Principia Mathematica, e assim vai. Algumas horas depois, fica evidente que Pitts é o cara certo para fazer a formulação matemática do problema.

Impressionado pela genialidade de Pitts, McCulloch o “adota”. Pitts passa a morar na casa de McCulloch, e eles trabalham juntos todas as noites, após a família de McCulloch ir para a cama. O brilhante, respeitado, velho cientista e o fugitivo de casa, desempregado, sem ensino médio, jovem gênio.

Juntos, eles criam a primeira ideia de neurônio artificial, no paper “A logical calculus of the ideas immanent in nervous activity”, 1943.

O neurônio artificial é algo que recebe sinais como entrada, multiplica por um peso e compara o resultado contra um discriminante. Se é maior, a saída é um. Senão, é zero.

O neurônio de McCulloch-Pitts é binário, com poucos neurônios e sem técnica de retropropagação para fitar os pesos. Pitts mostrou que uma combinação desses neurônios pode emular as portas lógicas (ou, e, não) e, fazendo isto, fazer o mesmo cálculo que um computador digital. Na mesma época, os computadores digitais estavam sendo projetados pelo grande John von Neumann (outro gênio), o que significava que eles faziam todas as contas no braço.

Após este trabalho seminal, uma área completamente nova começou a florescer. Hoje, há retropropagação, múltiplas camadas, centenas de milhares de neurônios, várias funções de ativação, dropout, convolução, transferência de conhecimento, regularização… e muito, muito mais a vir.

Paper de 1943:

http://link.springer.com/article/10.1007%2FBF02478259

Este paper tem apenas três citações. Uma delas é o Principia Mathematica de Russell e Whitehead.

Apenas para finalizar esta nota histórica, a vida real não é um conto de fadas, de mendigo a príncipe. A vida de Pitts foi de mendigo a príncipe para mendigo de novo. Walter Pitts entrou em depressão após algumas decepções. Ele começou a beber pesadamente, se isolou cada vez mais de todos os outros, e morreu sozinho, na pobreza. Ele tinha 46 anos.

Fonte: revista Nautil.us.

http://nautil.us/issue/21/information/the-man-who-tried-to-redeem-the-world-with-logic

Conclusão

Walter Pitts trabalhou numa biblioteca à noite, com lápis e papel. Fico me imaginando o que ele poderia fazer, se tivesse um computador digital e técnicas modernas como TensorFlow, Keras, GPU…

Um mundo inteiro foi construído a partir do neurônio de McCulloch-Pitts, e um mundo muito, muito maior está sendo construído. O mundo é grande!

Escrevi este post em inglês no link a seguir, com um complemento técnico em Keras.

Ver no Medium.com