Overfitting e elefantes

Overfitting é quando um modelo de aprendizado de máquina se ajusta tão bem aos dados de treinamento, mas tão bem, que captura até o ruído e as variações irrelevantes. Queremos treinar um modelo com sinal, e não com ruído. Com aumento do poder computacional, esse risco é cada vez mais presente. Temos a ilusão de …

Continue lendo Overfitting e elefantes

Otimização de softwares antivírus

Segue um pequeno exercício de otimização. Você está numa empresa brasileira de alcance nacional, responsável pela aquisição de softwares antivírus para a empresa toda. Há 30 softwares possíveis (numerados de 1 a 30) e 15 ameaças mapeadas (denominadas de A a O). Cada software é homologado a prestar somente alguns serviços, e isso é assinalado …

Continue lendo Otimização de softwares antivírus

Pequeno Experimento com Teorema do Limite Central

O Teorema do Limite Central é um dos mais importantes da Estatística: ele mostra como a aleatoriedade de pequenas partes pode resultar em um comportamento previsível quando olhamos muitas observações. Não importa como é a distribuição inicial, se você pegar a média de muitos resultados, essa média vai formar uma curva em forma de sino, …

Continue lendo Pequeno Experimento com Teorema do Limite Central

Como você modelaria um problema predador – presa?

Nunca gostei de fórmulas matemáticas. Não há nada mais desestimulante do que pegar um artigo denso, de linguagem difícil, cheio de ideias abstratas e tão compreensível quanto hieróglifos egípcios! Como entender fórmulas como as abaixo? No final das contas, uma fórmula é um modelo, uma abstração da realidade. E entender o que a fórmula tem …

Continue lendo Como você modelaria um problema predador – presa?

Os Modelos Mal Criados

Vira e mexe, os modelos matemáticos que criamos saem pela culatra, gerando resultados completamente adversos ao esperado. Dá para citar uma família inteira deles. O "Pragmático": Esse é o que cumpre a função objetivo a qualquer custo, mesmo que o resultado seja esdrúxulo. Uma vez, criei um modelo para maximizar o transporte de madeira da …

Continue lendo Os Modelos Mal Criados

Insights para um time de Advanced Analytics

Semana curta, mas cheia de atividades produtivas! Tive a oportunidade de ministrar aulas extras na Escola de Administração da FGV e no PAAD (do Heitor Sasaki), onde discutimos projetos e modelos de atuação de equipes de Advanced Analytics e AI em grandes empresas. Alguns pontos essenciais que sempre destaco:- Não falta trabalho a ser feito: …

Continue lendo Insights para um time de Advanced Analytics

Definitions in data science

Repassando um diagrama bem interessante, das principais definições em data science. Engraçado que quando leio o método, vejo um desenho do que ela faz. Isso porque o que vale não é a fórmula, esta é apenas a tradução de um conceito. Exemplo, a normal, vejo a curva. Mínimos quadrados, a ideia é minimizar o erro …

Continue lendo Definitions in data science

Analytics Talks – IA Generativa

Tivemos um Analytics Talks com o Leonardo Machado, da Visagio, o time de Projetos Analíticos da #Klabin e mais de 100 expectadores. Alguns tópicos discutidos: - Estamos vivendo a era da IA Generativa, ou, de forma mais abrangente, Computação Generativa. - Para dar uma ideia do tamanho desses modelos LLM: pense em 10 terabytes de …

Continue lendo Analytics Talks – IA Generativa

Participação no AI Summit

Divulgando participação em um painel no IA Summit 2024, em setembro, sobre Computação Quântica e aplicações na indústria. https://www.linkedin.com/posts/arnaldogunzi_inteligaeanciaartificial-ai-computaaexaetoquaesntica-activity-7194312684421443584-eqRA?utm_source=share&utm_medium=member_android A Computação Quântica é uma tecnologia que pode crescer exponencialmente e ser um "game changer" em tópicos como simulação de moléculas químicas, criptografia e otimização.Algumas predições adicionais para o futuro próximo:– Lançamento de computador com alguns …

Continue lendo Participação no AI Summit

K-Means

O K-Means é um algoritmo de clusterização simples e rápido.Como dividir um conjunto de dados em k grupos com base na similaridade de características?Os clusteres devem ser definidos de forma a minimizar a variância dentro dos grupos e maximizar a variância entre eles.No documento, uma explicação simples e intuitiva sobre o K-Means.É um exemplo de …

Continue lendo K-Means

Seja imprevisível, segundo a Teoria dos Jogos

Estive a ver o jogo Corinthians x Fluminense, e é daqueles jogos de dar raiva pela previsibilidade do técnico Fernando Diniz. Faz tempo que noto isso, porém, como o foco deste espaço não é futebol, sempre me abstive de comentar. O time do Diniz vai sair tocando a partir do goleiro, de dentro da área, …

Continue lendo Seja imprevisível, segundo a Teoria dos Jogos

O que é o Softmax?

O softmax é uma função utilizada fortemente em redes neurais para produzir saídas probabilísticas, especialmente em problemas de classificação multiclasse. Mas porque não utilizar métodos mais simples? Qual a intuição por trás? Neste artigo, daremos a definição, exemplos de códigos e a interpretação do softmax.