O GPT3, lançado recentemente pela empresa OpenAI, é um marco na história da Inteligência Artificial. É o modelo de linguagem natural mais poderoso já criado: ele é capaz de produzir texto sobre um tema qualquer, escrever códigos simples, música.
O GPT3 tem 175 bilhões de parâmetros! O seu predecessor, GPT2, que já era impressionante, tinha 1,5 bilhão de parâmetros.
É um nível de hardware e software inatingível para empresas comuns. Só para fazer o treinamento desta rede, a OpenAI gastou cerca de 5 milhões de dólares!
Não sei se serve como referência, mas a maior rede que já treinei no meu melhor computador, com GPU, tinha umas 15 camadas e uns 100 mil parâmetros, e deu um trabalho gigante – foram semanas de experimentação de hiperparâmetros e variantes de arquitetura.
O GPT3 ainda comete pequenos erros, como frases ininteligíveis, sem contexto, ou seja, ainda está muito atrás do cérebro humano.
O cérebro tem 100 bilhões de neurônios, o que dá uns 100 trilhões de parâmetros. Ainda impera com facilidade e gasta pouquíssima energia (é alimentado com arroz e feijão).
Contudo, o GPT3 mostra que a IA está crescendo em ordens de grandeza galopantes, e já dá para ver a mesma chegando, no cantinho do retrovisor!
Veja também:
https://ideiasesquecidas.com/2020/07/13/o-inverno-e-a-primavera-da-inteligencia-artificial/
ideiasesquecidas.com 