O que é GPT3 e por que isso importa?

O GPT3, lançado recentemente pela empresa OpenAI, é um marco na história da Inteligência Artificial. É o modelo de linguagem natural mais poderoso já criado: ele é capaz de produzir texto sobre um tema qualquer, escrever códigos simples, música. 

O GPT3 tem 175 bilhões de parâmetros! O seu predecessor, GPT2, que já era impressionante, tinha 1,5 bilhão de parâmetros.

É um nível de hardware e software inatingível para empresas comuns. Só para fazer o treinamento desta rede, a OpenAI gastou cerca de 5 milhões de dólares! 

Não sei se serve como referência, mas a maior rede que já treinei no meu melhor computador, com GPU, tinha umas 15 camadas e uns 100 mil parâmetros, e deu um trabalho gigante – foram semanas de experimentação de hiperparâmetros e variantes de arquitetura.

O GPT3 ainda comete pequenos erros, como frases ininteligíveis, sem contexto, ou seja, ainda está muito atrás do cérebro humano.

O cérebro tem 100 bilhões de neurônios, o que dá uns 100 trilhões de parâmetros. Ainda impera com facilidade e gasta pouquíssima energia (é alimentado com arroz e feijão).

Contudo, o GPT3 mostra que a IA está crescendo em ordens de grandeza galopantes, e já dá para ver a mesma chegando, no cantinho do retrovisor!

Veja também:

https://ideiasesquecidas.com/2020/07/13/o-inverno-e-a-primavera-da-inteligencia-artificial/

https://super.abril.com.br/saude/cerebro-humano/#:~:text=Cem%20trilh%C3%B5es%20de%20conex%C3%B5es%20celulares,do%20Universo%3A%20o%20c%C3%A9rebro%20humano.

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s