Ideias Analíticas Avançadas

Estou lançando uma publicação na plataforma Medium: a Ideias Analíticas Avançadas (https://medium.com/ideias-anal%C3%ADticas-avan%C3%A7adas).

Os objetivos são:

  • Escrever sobre Analytics Hard: Otimização, Matemática, Python, Computação Quântica, com código e tudo
  • Convidar outros autores a publicar sobre o tema.

Fica já o convite, quem quiser escrever sobre alguns dos temas e divulgar ali.

Montando times analíticos

Recomendação de livro: Building analytics Teams, de John Thompson. Ele é head of advanced analytics and artificial intelligence na CSL Behring, uma companhia farmacêutica.

Assisti a uma palestra do autor na Informs de 2018, em Chicago, e suas ideias ajudaram a montar o meu próprio time.

Link da Amazon: https://amzn.to/3dvX76S

Separei abaixo alguns insights que correspondem à minha própria percepção da evolução do Analytics.

“Aplicações de Advanced Analytics e IA irão mudar todos os aspectos do trabalho e operações, se as companhias tiverem a força para contratar e engajar times analíticos.”

“Mais de uma década depois que o conceito de big data se tornou parte do vocabulário, apenas uma minoria das empresas se tornou organizações orientadas por insights analíticos.”

“Os times de cientistas de dados começaram artesanalmente. Hoje, há a migração para o modelo de fábrica, com times internos e externos.”

Qual a diferença entre um “Advanced Analytics” e simplesmente “Analytics”? Normalmente, coloca-se uma série de serviços analíticos, começando de dashboard, automações, relatórios, análise descritiva, prescritiva, simulação, otimização. O “Advanced” seria começando da análise prescritiva, que é o ponto a partir da qual grande valor começa a ser gerado para a companhia.

“Gerenciar profissionais analíticos é similar a gerenciar um grupo de profissionais criativos. É um time que necessita de uma direção, mas não de microgerenciamento.”

“Existem poucas e preciosas pessoas numa organização que entendem os requisitos de negócios, tem capacidade técnica e habilidade para desenvolver soluções.”

(eu complemento dizendo que é difícil contratar, treinar e manter essas poucas e preciosas pessoas)

Analytics não é TI. A TI tradicional tem a visão mais transacional. Já projetos analíticos são a ponta de lança da mudança na companhia, têm um viés de inovação e devem ser moldados para o negócio.

“Projetos de Analytics Avançado não são os mesmos de Tecnologia da Informação, porque não são lineares. Eles são iterativos, marcados por grandes sucessos e pontuados por becos sem saída, erros e hipóteses que não se confirmam.”

“O papel do Chief Analytics Officer é de extrair e entregar valor e impacto econômico com a utilização de analytics, data science e inteligência artificial.”

“Nunca antes na história tivemos a combinação de matemática, volumes de dados diversos e prontamente acessíveis e o poder de computação que temos hoje, nas pontas dos dedos.”

“Não é uma questão de big data, mas muitos small data.”

“Por experiência própria, não há falta de projetos analíticos para a equipe realizar.”

Por fim, uma constatação mais geral:

“Nenhuma revolução jamais aconteceu com o apoio do establishment.”

Há alguns vídeos do autor no Youtube:

Inovação e computação quântica

Bati um papo sobre computação quântica com o Rafael Veríssimo, fundador da startup Brazil Quantum.

A computação quântica é uma forma fundamentalmente diferente de fazer computação. Ao invés dos tradicionais bits (0 ou 1), temos qubits, utilizando propriedades quânticas como sobreposição e emaranhamento.

Não são todos os problemas em que há ganho em usar tal abordagem. Algumas das aplicações possíveis são: simulação de moléculas químicas, criptografia (tanto quebrar a criptografia atual quanto criar uma criptografia indecifrável por natureza) e otimização combinatória.

É uma tecnologia potencialmente disruptiva, que talvez se torne uma realidade nos próximos 10 anos.

Também falamos do projeto que estamos fazendo na empresa: o Trim Quântico. Como modelar o algoritmo do Trim, que roda em todas as empresas de papel, utilizando as técnicas citadas. A Klabin é pioneira na indústria nacional ao estudar este tipo de tecnologia.

Festival #InovaKlabin.

IA e computação baseada na natureza

No festival #InovaKlabin, bati um papo sobre IA e computação baseada na natureza, com um dos maiores cientistas do Brasil, o prof. Leandro de Castro.

São só 15 min, e está disponível no YouTube (por enquanto, não sei se vão tirar).

Desvendando o Cosmo

Ian Stewart é um dos maiores divulgadores científicos da atualidade. Quando vi o seu novo livro, “Desvendando o Cosmo”, não tive dúvidas, comprei na hora!

Link da Amazon: https://amzn.to/3oVUPSI

Stewart originalmente escreve sobre matemática, explicando equações complicadas através de linguagem simples. Neste livro, o tema é o universo e os seus infinitos mistérios.

Alguns tópicos abaixo.

——–

Shoemaker Levy 9

O cometa Shoemaker-Levy 9 mereceu grande atenção da mídia em 1994 (eu lembro bem disso).

Este foi descoberto pelos astrônomos que levam o seu nome em 1993: um cometa fragmentado, muito próximo à órbita de Júpiter. Eles calcularam que o mesmo teria entrado na órbita do gigante havia uns 20 anos, e o efeito da gravidade maciça teria despedaçado o corpo.

Ainda mais espetacular: calculando a trajetória, o cometa colidiria com o planeta em 1994! Seria a primeira vez na história que nós, meros terráqueos mortais, veríamos ao vivo uma colisão dessas!

E, tal qual um relógio, o cometa colidiu com a superfície de Júpiter. Cada um dos cerca de 20 pedaços causou um impacto maior do que todas as bombas atômicas do mundo juntas, e deixou cicatrizes enormes no planeta grandão. Um impacto de algo semelhante na Terra seria devastador.

Depois do Shoemaker-Levy 9, autoridades do mundo inteiro incentivaram o mapeamento de cometas próximos à Terra, a fim de tentar evitar que tenhamos o mesmo destino dos dinossauros.

Júpiter, ou Zeus para os gregos, é o maior deus do Olimpo, nome apropriado para o maior planeta do sistema solar.

Há até uma teoria controversa, de que o irmão maior Júpiter protege os planetas menores, ao atrair corpos celestes errantes com a sua gravidade esmagadora.


O Problema dos três corpos

As leis de Kepler preveem a órbita elíptica dos planetas, decorrentes da Gravidade de Newton. Correto, é isso mesmo, quando temos dois corpos (o Sol e o planeta). Porém, quando temos três corpos, o comportamento desses fica extremamente mais complicado, devido à equação ser não linear.

Uma forma de aproximar a resposta é simplificando, desprezando que os menores influenciem os maiores. Exemplo: “o problema dos dois corpos e meio”: dois corpos enormes (digamos o céu e um planeta) e o comportamento de uma poeirinha, uma espaçonave, sujeita à gravidade dos grandões!


Os Anéis de Saturno

Há uma série de mistérios envolvendo os anéis de Saturno, desde que Galileu apontou o seu telescópio e descobriu “orelhas” no planeta – equipamentos melhores mostraram estas serem os anéis.

O nome “Saturno” vem de “Cronos”, o tempo, o deus grego que devora os seus filhos. As “orelhas” de Saturno davam a impressão de que havia um corpo maior engolfando outros menores.

Uma das perguntas difíceis é sobre a largura dos anéis de poeira e gelo. Algumas delas são estreitas demais, o que seria instável. Uma das hipóteses é a das “luas pastoras”: duas luas guia, que por conta de seus efeitos gravitacionais, prenderiam as partículas dos anéis, tal qual cães-pastores controlam um rebanho. A Voyager 2, em Urano, mostrou um caso desses: um anel entre as luas Ofélia e Cordélia!


Cometa Halley

O livro não poderia deixar de mencionar um dos cometas mais famosos do mundo, o Halley. Em 1705 Edmond Halley pensou: Se planetas têm órbitas elípticas ao redor do Sol, por que corpos menores também não a teriam?

Ele mergulhou em registros esquecidos de cometas avistados, e notou a semelhança entre um especialmente brilhante, com uma cauda impressionante, visto por Petrus Apianus em 1531, Kepler em 1607, e próximo à era de Halley em 1682. Halley postulou que as três ocorrências eram do mesmo corpo, e previu que o cometa voltaria em 1758 – e acertou, na mosca.

Eu também tive o meu encontro com o Halley, é um velho amigo. Vide aqui:
https://ideiasesquecidas.com/2017/08/19/%e2%80%8bo-amante-halley/


O Efeito estilingue

Na primeira viagem do homem à Lua, a trajetória foi relativamente simples: sair da Terra, depois um “empurrão” direto até a Lua. Como não há resistência do ar, pela inércia a aeronave continua em movimento, até serem necessárias outras manobras.

Para a trajetória que minimiza o tempo, essa é a melhor estratégia. Porém, foi descoberto que é possível minimizar a energia (combustível), se a missão não se importar em perder mais tempo.

A ideia é utilizar o “efeito estilingue”. Quando a nave entra na órbita de um planeta, “pega carona” em seu movimento celestial. Quando a nave estiver na posição correta, ela pode gastar um pouquinho de energia para sair da órbita, e buscar um outro planeta para outro empurrãozinho. São cálculos complicadíssimos, mas que viabilizam missões impossíveis de serem feitas sem tal técnica.

É como se fosse uma rodovia espacial, feita com estradas de gravidade. As missões atuais, que não carregam pessoas, apenas equipamentos, usam e abusam dessa estratégia.


Como saber do que as estrelas são feitas?

A estrela é só uma luzinha no céu. Como saber do que ela é feita? A resposta: através de espectros de frequência.

É muito famosa a imagem de Isaac Newton e o seu prisma decompondo a luz.

Melhorando um pouquinho a técnica, temos decomposição espectral de uma fonte de luz.

Agora, aplicando a mesma técnica para compostos conhecidos (por exemplo, aquecendo um gás de hidrogênio e decompondo sua luz), temos uma assinatura espectral própria. Cada átomo absorve frequências diferentes de energia, de modo que, a partir da decomposição da luz, podemos ter uma ideia do que as estrelas são feitas!


Como sei a distância das estrelas?

Esta foi uma pergunta que sempre me fiz. Olhando para o céu, só vemos uns pontinhos. Como os astrônomos sabem que um dos pontinhos está a 1 milhão de anos-luz, e outro, a 100 milhões?

Uma das respostas é utilizando a mesma técnica que os antigos utilizavam para calcular a altura de uma pirâmide com o auxílio de um graveto e das sombras: trigonometria.

Pelo ângulo de diversas medições do mesmo pontinho, em diversos momentos (digamos, uma hoje e outra daqui a 6 meses, quando a Terra estiver no extremo oposto de sua órbita), temos uma estimativa da distância.

Não é a única forma de fazer a estimativa de distâncias. Há outras complementares, como estimar pelo brilho da estrela.


O livro também cita buracos negros (e buracos brancos), energia escura, a criação da Lua, o Big Bang, expansão do universo e inúmeros outros conceitos. São quase 400 páginas de diversão, para quem gosta de física, matemática e meta-física!

Veja também:

Bônus: Trilha Sonora por Rita Lee. Destaque para o trecho “Por você vou roubar os anéis de Saturno”

Diagramas Voronoi em Excel – e retalhonamento de áreas

Diagramas de Voronoi são diagramas bonitos como o seguinte.

Cada região tem um centro, escolhido aleatoriamente, e cada região denota a influência de cada centro.

É possível fazer uma dessas, em Excel.

De forma genérica, um Diagrama de Voronoi começa com um número de regiões.

Para cada região, é sorteado um centro, em coordenadas x e y.

Depois, para cada pixel da área total, é calculada a distância para cada centro da região. O pixel pertence à região mais próxima.

O caso mais fácil possível é o de duas regiões, exemplificado abaixo.

Com 3 regiões:

Vide arquivo no Github: https://github.com/asgunzi/VoronoiExcel. É necessário ativa macros.

Eu achava que essa era apenas uma curiosidade, porém, vi recentemente algumas aplicações bem interessantes.

Uma é de reforma agrária. A forma normal de dividir regiões é manualmente, como a da esquerda. Porém há áreas melhores e piores – digamos, em termos de acesso à estrada (em preto), declividade, qualidade do solo.

Hoje em dia, é possível levantar informações topográficas precisas. Aplicando um Voronoi aperfeiçoado, é possível redividir regiões de forma justa para o INCRA: alguém com uma região melhor vai ter menos área, enquanto outra com condições piores tem mais área, segundo restrições mapeadas.

Na área florestal, um projeto em andamento é o de retalhonar áreas de acordo com faixas de declividade e linhas de plantio, por exemplo, para que os talhões sejam ótimos operacionalmente e homogêneos para critérios de silvicultura e colheita.

Vide também:

Interactive Voronoi Diagram Generator with WebGL – Alex Beutel

A planilha do Chicão

Participei de um projeto que tinha como alvo eliminar a “Planilha do Chicão”. Uma planilha de decisão: sentava muita gente numa mesa, cada um falava o que planejava fazer, e era tudo consolidado de forma semi-estruturada nesta. Simples, rápida, e não muito precisa.

O trabalho envolveu criar uma ferramenta superior: coletar informações, criar indicadores, propor soluções ótimas e voltar o resultado para análise. Tudo OK.

Anos depois, retorno para ver como o trabalho está. Realmente, a ferramenta de otimização está rodando, com melhorias aqui e acolá. Porém, lá no finalzinho do processo, na palavra final da decisão, quem eu encontro? A planilha do Chicão, firme e forte.

O Chicão já se aposentou faz anos também, então não é resistência à mudança. Talvez, no final das contas, a decisão seja realmente dos seres humanos, diante de inúmeras variáveis impossíveis de prever.

Moral da história: não subestime a planilha do Chicão.

Review – Alura

Fiz um trial da plataforma de ensino Alura, e explorei os cursos com intensidade, nos últimos dias.

Algumas impressões gerais:
– Tem uma quantidade enorme de tópicos relativos à TI: Programação, Dev Ops, Mobile.
– Para o meu foco de interesse, tinha uma trilha em Data Science, com cursos diversos: Excel, VBA, Power BI, Estatística, Python, Modelagem de dados. Machine learning, SQL server. Dentro de cada curso desses, uma programação de aulas a ser seguida.

As aulas consistem em vídeos didáticos, e exercícios no final – alguns de múltipla escolha, outras para colocar código. Há também um fórum de discussão (também joguei uma pergunta para ver se alguém respondia, e um outro aluno respondeu logo a seguir).

A licença não é por curso, mas por mensalidade. A pessoa pode explorar quantos cursos quiser, neste período.

Fiz um curso do início ao fim, para ver a questão do certificado. Mesmo sendo trial, deu para inserir o certificado no LinkedIn.

Para o administrador da conta da empresa, é possível recomendar trilhas de aprendizado e acompanhar quem do time está fazendo qual curso, quantos terminou, etc.

Enfim, é muito legal, para quem tem o espírito de aprender sempre, e para empresas que queiram fornecer uma boa plataforma de aprendizagem.

Alan Turing é homenageado na nova nota de 50 libras

Para quem gosta de matemática e computação, Alan Turing é um dos nomes mais importantes da história, com contribuições que perduram até hoje.

Turing abstraiu o conceito de computação, e provou que é possível criar uma “máquina de Turing universal”. Ao invés de ter um dispositivo específico para cada operação, o mesmo dispositivo poderia ser programado para fazer as mais diversas operações imagináveis.

Os computadores modernos são máquinas de Turing universais em sua essência.

A tese de Turing-Church, de que todas funções computáveis podem ser computadas por máquinas de Turing universais, continua um problema aberto até hoje.

Ele foi um dos pioneiros da inteligência artificial, com o teste de Turing, uma espécie de jogo da imitação: será que quem escreveu este texto foi uma pessoa ou uma máquina?

Finalmente, ajudou a salvar centenas de milhares de vidas de soldados aliados, ao decifrar o Enigma, código criptográfico nazista. Não é exagero. Por exemplo, os códigos decifrados deram a segurança de que os nazistas não sabiam onde seria o local do desembarque, no Dia D.

Apesar de tudo isso, Turing foi perseguido por ser homossexual, e tirou a própria vida em decorrência de um tratamento forçado a que fora submetido.

Um dia vou conseguir uma nota dessas, só para deixar na carteira como homenagem à este grande gênio da humanidade.

Recomendação de filme: O Jogo da Imitação, no Prime Video:

https://amzn.to/31qsfhG

Veja também:

thttps://ideiasesquecidas.com/2020/11/21/codigos-genetica-e-puzzles/

Representação visual do MDC

Qual o máximo divisor comum entre 9 e 21?

O MDC é um dos principais conceitos de Teoria dos Números, e o algoritmo de Euclides continua sendo extremamente eficiente até hoje.

Vi uma versão visual deste, e gostaria de compartilhar.

Qual o máximo divisor comum entre 9 e 21?

21 / 9 = 2 (representado pelos dois quadrados de tamanho 9) e sobra 3

9 / 3 = 3 (vide os três quadrados de tamanho 3) e sobra 0

Portanto, o MDC é 3.

A planilha em anexo plota essa visualização de MDC para dois valores quaisquer de a e b.

Exemplo. MDC(10, 2 ) = 2, o último quadrado de tamanho 2.

Outro exemplo, entre 6 e 9 (mdc = 3, o último quadrado 3×3).

Planilha para download em https://github.com/asgunzi/MDC-visual. É necessário ativar macros.

Veja também:

https://ideiasesquecidas.com/laboratorio-de-matematica/

O dia que troquei minha mulher por uma barra de chocolate

Tudo começou com uma brincadeira das crianças. Você trocaria seu telefone por um gatinho? E o gatinho por uma barata? E assim sucessivamente. Minha esposa me perguntou: você me trocaria por uma barra de chocolates infinita?

Sendo muito lógico, é claro que respondi “Sim”. Infinito é uma quantidade muito grande…

Uma barra infinita seria suficiente para dar um pedaço para cada pessoa na cidade. Na verdade, para que se restringir a uma cidade? Seria mais do que suficiente para todas as pessoas na Terra. Mais do que isso, vários pedaços por dia, para cada pessoa, por todos os dias – acabaria com a fome do mundo.

Ainda assim, sobrariam infinitos pedaços – ou seja, seria possível alimentar todas as pessoas que ainda vão nascer no planeta. E para quê parar no planeta? Sendo infinito, é suficiente para este e mais quaisquer outros planetas que conseguissem ter acesso à tal barra de chocolate.

Ademais, a tal barra poderia ter outras aplicações. Talvez uma fonte de energia infinita. Além de alimentar todo o planeta, os cientistas poderiam pensar numa forma de secar e queimar uma enorme quantidade de chocolate, a fim de produzir energia elétrica infinita. Por mais ineficiente que tal processo seja, ainda valeria a pena, pela fonte de matéria-prima não ter fim.

Ora, mas tem algo estranho nessa conta. Se a quantidade de energia gerada é infinita, a quantidade de energia para fazer tal barra de chocolate também seria infinita.

Uma barra assim precisaria de muitos bilhões de litros de leite e de quilos de cacau e açúcar. Muito mais do que isso, de bilhões de bilhões de bilhões de litros e quilos, além de quantidade equivalente de processos industriais e energia – e ainda assim não seria nada perto do infinito. Precisaria de todo o peso do planeta Terra, mais o peso da galáxia inteira, e o peso de tudo o que existe no universo, e ainda assim, ainda falta muito para infinito.

Ou seja, a barra exauriria todos os recursos naturais existentes e transformaria o mundo num mar de chocolate. Sufocaria a todos, antes de poder ser útil para alguma coisa…

Portanto, a resposta correta é “Não”, não troque sua esposa por uma barra de chocolate infinita. Além de todos os problemas citados, esta resposta evita que você leve um tapa na cara!

Veja também

Sobre Átomos e vazio (ideiasesquecidas.com)

O loop infinito das Leis da Robótica (ideiasesquecidas.com)