𝗗𝗲𝗲𝗽𝗠𝗶𝗻𝗱

Quando se fala de Inteligência Artificial, vale a pena ficar de olho na empresa britânica DeepMind.

Ela alcançou notoriedade ao desenvolver o AlphaGo, programa computacional que derrotou o campeão mundial do jogo Go, em 2016. O Go é uma espécie de xadrez chinês, porém, bastante mais complexo.

A DeepMind foi adquirida pelo Google em 2014.

Atualmente, ela atua em identificação de doenças oculares, economia de energia nos servidores do Google, e a difícil área de dobramento de proteínas, entre outros.

Documentário AlphaGo x Lee Sedol

Site da empresa:

https://deepmind.com

O que é GPT3 e por que isso importa?

O GPT3, lançado recentemente pela empresa OpenAI, é um marco na história da Inteligência Artificial. É o modelo de linguagem natural mais poderoso já criado: ele é capaz de produzir texto sobre um tema qualquer, escrever códigos simples, música. 

O GPT3 tem 175 bilhões de parâmetros! O seu predecessor, GPT2, que já era impressionante, tinha 1,5 bilhão de parâmetros.

É um nível de hardware e software inatingível para empresas comuns. Só para fazer o treinamento desta rede, a OpenAI gastou cerca de 5 milhões de dólares! 

Não sei se serve como referência, mas a maior rede que já treinei no meu melhor computador, com GPU, tinha umas 15 camadas e uns 100 mil parâmetros, e deu um trabalho gigante – foram semanas de experimentação de hiperparâmetros e variantes de arquitetura.

O GPT3 ainda comete pequenos erros, como frases ininteligíveis, sem contexto, ou seja, ainda está muito atrás do cérebro humano.

O cérebro tem 100 bilhões de neurônios, o que dá uns 100 trilhões de parâmetros. Ainda impera com facilidade e gasta pouquíssima energia (é alimentado com arroz e feijão).

Contudo, o GPT3 mostra que a IA está crescendo em ordens de grandeza galopantes, e já dá para ver a mesma chegando, no cantinho do retrovisor!

Veja também:

https://ideiasesquecidas.com/2020/07/13/o-inverno-e-a-primavera-da-inteligencia-artificial/

https://super.abril.com.br/saude/cerebro-humano/#:~:text=Cem%20trilh%C3%B5es%20de%20conex%C3%B5es%20celulares,do%20Universo%3A%20o%20c%C3%A9rebro%20humano.

O inverno e a primavera da Inteligência Artificial

Em 2006, fiz a cadeira de Redes Neurais da UFRJ, como parte do meu mestrado em Processamento Digital de Sinais, motivado pelas tais redes que imitavam o cérebro humano, aprendiam sozinhas e que poderiam nos superar um dia.

Achei decepcionante, na época. As redes pareciam mais uma curiosidade, com pouca aplicação prática, do que algo realmente útil.

Alguns motivos:

– Só conseguíamos criar redes de três, cinco camadas, com poucos neurônios por camada (shalow network)

– Aplicações restritas à interpolação de funções

– O software Estatística tinha algo pronto para redes pequenas. Qualquer aplicação mais complexa, seria necessário pegar toda a matemática e implementar do zero.

Os resultados frios e estéreis eram porque, em 2006, eu estava em pleno “Inverno da Inteligência Artificial”.

Contudo, 10 anos depois, o campo era quente e fértil de inovações: redes de centenas de camadas (daí o termo deep neural network), milhares de neurônios por camada, reconhecimento de imagens, transcrição da linguagem falada, automação de tarefas rotineiras, humanos superados em jogos complexos como o Go…

A curva acima é chamada de “curva S da inovação”.

A maior parte dos conceitos, como o neurônio artificial, a função de ativação, backpropagation, já existia desde a década de 70, e não tinham mudado nada.

Como a IA saiu do inverno para a primavera que vivenciamos nos dias de hoje?

Aponto para três tópicos principais:

– Hardware

– Software

– Dados

1 – Hardware

A evolução da capacidade computacional e o poder do processamento paralelo são dois itens importantes.

1.1 – Lei de Moore

A Lei de Moore diz que o poder computacional dobra a cada 18 meses, para o mesmo custo. A unidade básica de computação é o transístor, basicamente uma chave que pode assumir o valor 0 ou o valor 1.

A Lei de Moore deve-se, basicamente, à miniaturização do transístor. Foi isso que permitiu celulares de bolso mais poderosos do que os supercomputadores mais avançados de décadas atrás.

Do computador que eu tinha em 2006 para 2018, 12 anos, houve um avanço de 256 vezes!

Imagine se o meu rendimento no banco fosse assim…

1.2 – GPU

Outro fator é o processamento paralelo, principalmente devido à GPU (Graphic process unit). Não confundir com a CPU, que é o coração de um computador.

Com a evolução dos computadores, ocorreu uma exigência cada vez maior na parte gráfica, devido aos jogos. A solução foi criar unidades de processamento especializadas em processar gráficos, a GPU (ou seja, os gamers financiaram este avanço na área de IA).

A CPU é como um carro, que se move rápido, porém leva pouca gente. A GPU é como um trem. É mais devagar que a CPU, mas transporta muito mais informação. Se for para transportar milhares de pessoas, é melhor ir de metrô do que alocar vários carros.

A parte mais pesada da rede neural é o algoritmo de treinamento, o backpropagation. Os cientistas da computação criaram meios de ‘enganar’ a GPU: disfarçaram a informação como um gráfico, para ser processada e devolvida à rede.

Hoje em dia, temos até TPU (Tensor process unit). A ideia é a seguinte. A GPU é para computação gráfica, e estava sendo utilizada via gambiarra para processar informação. Que tal uma unidade especialmente projetada para processamento paralelo? É a TPU.

Isso sem contar que, hoje em dia, não precisamos nem comprar o hardware. Dá para utilizar via cloud, alugando o tempo gasto, e o provedor do serviço se encarrega de ter o melhor hardware possível.

2 – Software

Além do hardware, ocorreu um avanço significativo em software.

Em 2019, Yoshua Bengio, Geoffrey Hinton e Yann LeCun ganharam o prêmio Turing, tipo o Nobel da computação, por terem fundado as bases para a IA sair do inverno.

Todo prêmio é injusto, no sentido de que deixa de fora dezenas de pessoas que contribuíram.

Destaco aqui três inovações importantes: erros numéricos, novos truques, pacotes open-source.

2.1 – Erros numéricos

Um backpropagation com dezenas de camadas e milhares de neurônios causa o efeito do “vanishing gradient”. Basicamente, as correções acabam ficando tão pequenas que desaparecem.

Aqui, cabe destacar que houve um avanço nos pacotes de álgebra linear como um todo, possibilitando que a computação seja feita com menor erro numérico e viabilizando a o backpropagation em várias camadas.

2.2 – Novos truques

Com o uso das redes neurais, um arsenal de novas técnicas foi sendo incorporado. Algumas:

Convolutional neural network: é uma camada de rede neural que funciona como uma janela deslizante – esta técnica performou melhor que todos os algoritmos de classificação comuns da época em reconhecimento de escrita

ReLu: é uma função de ativação extremamente simples, (= x se maior que zero, 0 se menor), porém, acrescenta uma não-linearidade interessante, que ajuda no problema do gradiente acima

Dropout: a fim de deixar a rede mais robusta, a cada rodada parte da informação é “jogada fora”. É como ler o mesmo livro várias vezes, porém a cada vez tirando algumas palavras por página – cada treinamento é mais difícil, porém a capacidade de generalização final acaba ficando maior.

Com o saco de truques maior, a própria arquitetura da rede passa a ser extremamente mais complexa. Combinar parte da rede convolucional, camadas com dropout, número de camadas, número de neurônios.

Há tantos hiperparâmetros que o desafio dos dias de hoje é descobrir a arquitetura ideal, não treinar a rede ou programar ela do zero.

2.3 – Poderosos pacotes Open Source

O Google empacotou as inovações citadas acima e lançou o Tensor Flow em 2015. O Facebook fez algo semelhante, com o PyTorch, de 2016, e há outras alternativas existentes. Note o timing, exatamente 10 anos depois do começo da minha pesquisa.

Não há nada melhor para um pacote computacional do que ter uma base grande de usuários engajados na causa: pessoas que vão utilizar, encontrar erros, enviar sugestões etc.

Todos os pacotes acima continuam em desenvolvimento e vão continuar enquanto a primavera da IA continuar.

Para o usuário, é fantástico. Não é necessário programar o neurônio artificial nem os complexos algoritmos de treinamento e arquitetura da rede neuronal, e sim, utilizar o conhecimento best in class do mundo. Grande parte das startups que vemos hoje utilizam pacotes como os citados.

O resultado é o que conhecemos hoje: algoritmos diversos reconhecendo padrões em imagens, sons e vídeos, em carros autônomos, fazendo forecast de falhas, batendo o ser humano em diversas áreas do conhecimento.

3 – Dados

Tão importante quanto software e hardware, são os próprios dados.

Hoje em dia, há uma quantidade praticamente ilimitada de dados digitais: fotos, vídeos, áudio.

Em 2006, as câmeras digitais já existiam, porém não eram onipresentes como é hoje. Eu me lembro de possuir uma câmera analógica na época, pois ainda eram mais baratas e melhores do que as digitais. A internet, idem. A minha era conexão discada. Eu esperava dar meia-noite, para me conectar e pagar apenas um pulso de telefone.

O grande gargalo dos métodos de IA da atualidade são os dados. Eles têm que ter quantidade e qualidade suficientes.

Hoje em dia, bancos de dados como ImageNet tem mais de um milhão de imagens rotuladas. Não consigo nem imaginar a quantidade de dados que o Google ou a Amazon têm à sua disposição.

Menção honrosa ao Mechanical Turk da Amazon. Ela é uma “inteligência artificial artificial”. São seres humanos fazendo trabalhos simples, como reconhecer objetos em imagens e transcrever palavras num áudio (e sendo parcamente remunerados).

O Mechanical Turk permitiu que aos cientistas da computação obterem informações cruciais: dados rotulados. Alguém tem que ensinar o computador que um gato é um gato, e não um copo ou um elefante.

No futuro, teremos mais dados ainda. A Internet das Coisas está chegando. Deve demorar um tempo para se consolidar, mas vai chegar forte um dia.

E qual o futuro da IA?

Houve um avanço extraordinário no campo da inteligência artificial, impulsionada principalmente pelas redes neurais.

Estamos hoje na primavera da IA, com uma miríade de possibilidades surgindo.

A curva S da inovação, olhada a longo prazo, parece mais com a “espiral da inovação”: picos e vales sempre crescentes.

Vale citar a Lei de Amara: “Tendemos a superestimar as inovações a curto prazo, e subestimar a longo prazo.”

Nos primórdios das redes neurais, já se sonhava com dispositivos inteligentes, algoritmos que bateriam a bolsa de valores, robôs que conversariam com o ser humano e dominariam a Terra.

Grande parte dos sonhos dos anos 70 não ocorreram nas décadas seguintes ao previsto. Estão ocorrendo hoje, 50 anos depois!

Vale notar que, embora as conquistas tenham sido extraordinárias, a IA ainda é restrita para casos bastante específicos: automatizar rotinas simples, reconhecer objetos em imagens, transcrever a linguagem falada, criar música nova rearranjando músicas pré-existentes.

Ainda não chegamos na IA geral, aí sim, uma inteligência que realmente competiria com o ser humano em tarefas difíceis: gerenciar, tomar decisões abstratas, programar a si mesmo, criar novos algoritmos, novos jogos.

Provavelmente, a Lei de Amara ocorrerá novamente. O conhecimento atual não será suficiente para chegar na IA geral. Será necessária a evolução de outros campos: hardware, software, dados, computação quântica, computação biológica, chips em 3D, e outros conceitos que não existem ainda.

Passaremos pelo verão, outono, um novo inverno, para alcançar uma nova primavera, daqui a algumas décadas.

Trilha sonora: Vivaldi – Primavera

Vivaldi – Inverno

Outros Links:

https://ideiasesquecidas.com/2017/10/25/a-artificial-inteligencia-artificial/

https://ideiasesquecidas.com/2020/04/17/o-computador-quantico-que-sabe-tudo/

https://www.theverge.com/2019/3/27/18280665/ai-godfathers-turing-award-2018-yoshua-bengio-geoffrey-hinton-yann-lecun

https://en.wikipedia.org/wiki/Vanishing_gradient_problem

https://en.wikipedia.org/wiki/Yann_LeCun

https://www.tensorflow.org/

https://pytorch.org/

Recomendação: AI Superpowers

Uma recomendação de leitura é o livro “AI Superpowers”, de Kai Fu Lee. É um livro que fala de tecnologia e negócios, como muitos outros, porém, este é diferente. Primeiro, pela perspectiva. Kai é taiwanês e trabalhou muitos anos com inteligência artificial, principalmente na China. E, segundo, porque ele enfatiza bastante o lado humano, além do tradicional AI-resolve-tudo.

A carreira de Kai-Fu começa como pesquisador, passa por responsável pela operação chinesa da Microsoft, até os dias atuais, em que é gestor de um fundo de tecnologia chinês.

Espírito empreendedor

Uma dificuldade das startups era fomentar o espírito empreendedor. Na China, desde tempos antigos o melhor trabalho era ser servidor público. Passar em algum concurso e viver para sempre sem grandes preocupações, num país onde a grande maioria veio de um passado muito sofrido.

Como convencer jovens chineses brilhantes a preferirem uma startup a um concurso público? Kai conta que visitou vários pais e mães, levou para jantares e demonstrações da empresa, a fim de explicar a lógica dos novos tempos. Era um trabalho ladeira acima.

A ascensão de Jack Ma e o AliBaba foram dois fatores que ajudaram, no quesito mudar a cabeça milenar das pessoas. Jack Ma é uma pessoa de origem humilde, sem formação, e com muito carisma. Mirando-se em Jack, muitos jovens viram que existia um caminho alternativo ao concurso público.

Ambiente regulatório

A China pode ser um ambiente ideal para o desenvolvimento de algumas novas tecnologias, como o carro autônomo. Este é um caso específico em que o ambiente regulatório conta muito. Nos EUA, por exemplo, podem surgir regulações impedindo carros autônomos. Ou, imagine a repercussão, no caso de acidente! Já na China, pela força maciça do Estado, os carros autônomos provavelmente teriam menos interferência.

Abordagem das empresas

Duas formas de uma startup abordar a AI. Uma, é tentar abordar o problema genericamente, sem se especializar em alguma área. Algo como um power grid, e tal qual a analogia, a empresa tem que ser grande e pesada para suportar uma abordagem dessas. A segunda é algo como carregar baterias. Seriam empresas para resolver um problema específico (digamos, reconhecimento de imagens no agronegócio), e seriam mais leves, por serem focadas.

IA geral e empregos

A inteligência artificial geral, aquela dos filmes de ficção onde os robôs tomam conta do mundo, está longe de se tornar realidade. Por enquanto, temos algumas aplicações específicas.

E, mesmo quando a AI geral começar a ficar mais próxima da realidade, o problema real não será o mundo ser destruído e a humanidade, escravizada. O problema real será a diminuição dos empregos.

Kai Fu cita outros autores, como o israelense Yuval Harari, que prediz o surgimento de uma nova classe social, a classe dos inúteis. Seriam aqueles que não têm a qualificação mínima para fazer algum trabalho de valor maior do que um algoritmo fará.

AI e o poder do amor

Kai Fu, neste ponto, cita que conheceu o poder do amor. Ele conta como dedicou o mínimo de tempo possível para a família, ao longo da carreira, a fim de otimizar o tempo para a busca de seu aperfeiçoamento profissional. Um exemplo: ele quase perdeu o nascimento da primeira filha, por conta de uma reunião importante!

Há alguns anos, Kai Fu foi diagnosticado com câncer. Isto mostrou a importância do ser humano, que o dinheiro e o sucesso não conseguem comprar.

Um exemplo, de algo que apenas o ser humano pode prover. Uma das empresas de Kai Fu lançou um aplicativo para idosos. Este tinha ícones grandes, interface simples, e permitia uma série de serviços a um clique: comprar insumos, encomendas de restaurantes, etc… Também tinha um service-desk, para falar com um atendente humano.

Qual foi o serviço mais acessado? O service-desk. Para uma boa parte dos atendimentos, os idosos nem tinham a necessidade de acessar algum serviço. Eles queriam apenas companhia, alguém com quem conversar. Esta é uma necessidade bastante grande entre os idosos, ainda mais nos tempos modernos.

Talvez a resposta para o desemprego estrutural crescente seja o amor. Recompensar interações sociais. Distribuir riqueza ao mesmo tempo em que se distribui atenção às pessoas necessitadas. Cuidar de quem precisa. Ter filhos.

Kai Fu Lee tem diversas publicações em chinês e é uma espécie de celebridade por ali. O livro AI Superpowers é a única obra em inglês, até o momento, e traz um background cultural oriental e reflexões bastante pertinente para os anos e décadas que viveremos.

Veja também:

Link da Amazon

https://ideiasesquecidas.com/2019/10/30/a-classe-dos-inuteis-veio-para-ficar/

https://ideiasesquecidas.com/2018/08/01/10-topicos-para-entender-a-china/

https://ideiasesquecidas.com/2019/07/27/recomendacoes-de-livros-sobre-a-cultura-e-historia-da-china/

John Searle e o quarto chinês

John Searle, Estados Unidos, 1932 – presente. Filosofia da consciência.

Principal ideia: Experimento do quarto chinês, no artigo “Minds, Brains, and Programs”, de 1980

Você está numa sala. Recebe, pela fresta da porta, um papelzinho com rabiscos em chinês. Sua tarefa é olhar cada letra do rabisco, procurar o mesmo numa série de livros, olhar o símbolo correspondente e escrever em outro pedaço de papel. A seguir, você retorna o mesmo pela fresta. Ou seja, você não entendeu nem um milésimo do que estava escrito na mensagem, porém foi capaz de utilizar a entrada de dados para produzir uma saída coerente.

Este é o experimento do quarto chinês, imaginado por John Searle. Esta discussão está inserida no contexto da consciência dos computadores. Um computador é algo que faz um processamento análogo à pessoa dentro do quarto chinês: pega dados de entrada, procura o procedimento a ser feito e o executa.

Isto leva Searle a crer que, mesmo que os computadores passem pelo teste de Turing*, eles não podem ser considerados como seres inteligentes e nem sabem pensar. Eles apenas manipulam informações segundo scripts, são como macacos condicionados a fazer uma tarefa, sem entender ou questionar a razão da mesma.

Alguns questionamentos:

– A pessoa dentro do quarto é apenas uma parte do sistema. Se considerar que alguém teve que escrever o manual com os procedimentos, e o sistema como um todo é um ser inteligente (ou não?)

– Será que nós, seres humanos, somos tão diferentes assim? Temos um número enorme de neurônios, encadeados numa rede bastante intricada. Esta recebe informações, processa e devolve. O que exatamente nos faz diferente da situação descrita?

– Um computador pega uma quantidade maciça de informação, as processa num volume infinitamente maior e com precisão que jamais conseguiríamos alcançar e devolve a resposta sem erros. Faz diferença se o computador é consciente ou não, tem inteligência ou não?

Como tudo em filosofia, não há resposta definitiva para este tipo de tema. Este sítio convida o leitor a refletir sobre o tema e postar suas respostas nos comentários.

*Nota: o teste de Turing é um dos primeiros critérios para definir inteligência artificial. Coloque uma pessoa conversando via texto com dois oponentes, um humano e uma máquina. A tarefa dela é distinguir quem é humano e quem não é. Se o algoritmo passar pelo teste de Turing, pode-se considerá-la uma inteligência artificial.


Fontes e links:

Uma breve história da filosofia – Nigel Warburton

https://en.wikipedia.org/wiki/Chinese_room

Index filosófico: https://ideiasesquecidas.com/index-filosofico

Sobre os forecasts de Inteligência Artificial da Copa 2018

Após a eliminação do Brasil (e Alemanha, Espanha, Argentina, Portugal) na Copa do Mundo de 2018, é possível dizer que a grande maioria das previsões baseadas em coisas da moda com nomes bonitos, como Inteligência Artificial, Machine Learning, Redes Neurais, falhou!

E daí? O que isto quer dizer? Duas coisas:

– Não ridicularizar as análises porque erraram,

– Não endeusar as análises quando acertam.

Forecast 1:

Forecast02.png

Forecast 2:

Forecast1.png

 

Forecast 3:

Forecast03.png

Forecast 4:

Forecast04.png

 

Todos os algoritmos citados são baseados em modelos, que por sua vez derivam de dados do passado. Cada algoritmo em particular leva em conta algum aspecto relevante: seja a tradição do time, o desempenho destes nas últimas partidas, histórico contra times semelhantes aos dos jogos da Copa… alguns algoritmos podem tentar ser mais precisos, e modelar o desempenho de cada jogador de um time contra cada jogador de outro, etc…

Porém, o que interessa não é desempenho passado, mas sim, o futuro. A hipótese utilizada em 100% desses modelos é a de que o passado pode ser utilizado para fazer uma previsão do futuro. Há domínios em que esta hipótese é verdadeira, digamos, para fazer reconhecimento de imagens (reconhecemos um carro porque este vai continuar tendo características de um carro, tanto hoje quanto no futuro).

O futebol não é um domínio muito bom para forecasts, porque o passado não necessariamente vai explicar o futuro. Cristiano Ronaldo pode ter arrebentado em 99% dos jogos, mas no único jogo decisivo, pode passar em branco. Casemiro pode ser muito eficaz contra os belgas, mas não dá para prever quando ele ficará fora por cartão. Se dois times jogassem 100 vezes, é provável que a média estatística se concretizasse, porém, na vida real ocorre um único jogo, em que uma retranca de um time mediano pode parar o melhor ataque do mundo.

 

A conclusão é que as análises são válidas, importantes, e devem ser levadas em conta, principalmente num domínio em que o histórico pode explicar o futuro, como o comportamento do consumidor.

E o contraponto é que algumas análises podem até acertar, mas isso não quer dizer que vão acertar tudo para todo o sempre. Diante de inúmeras previsões de inúmeras pessoas, alguma delas acertará exatamente o campeão. O ser humano tem a tendência de se impressionar com quem acerta o futuro, como o polvo Paul, que simplesmente teve sorte.

Ao invés de tentar prever o futuro, devemos estar preparados para os melhores e os piores cenários que podem ocorrer.

E o meu chute?
Inglaterra campeã, pelo efeito Guardiola (quando ele trabalha no país em questão, o nível do futebol do país sobe).