Como mentir com gráficos

Gráficos são uma forma importante de representar informação. Só que os dados nunca são só dados, sempre há uma narrativa que pode ou não ser reforçada.

Cinco dicas de “como mentir com gráficos” – ou melhor, como evitar ser enganado por números.

Os dados são os mesmos, só muda a forma de apresentar.

Para qualquer dos casos, o analista deve ter domínio do que está fazendo.

Outro fator importante é a transparência: disponibilizar as bases e critérios, a fim de que os mesmos possam ser auditados por parceiros.

Recomendações de livros interessantes:

Preparados para o risco – Gerd Gigerenzer. É um  nos ensina a questionar os números, e com isso, tomarmos boas decisões.

https://amzn.to/3LrVrsU

Storytelling com dados: Como transmitir sua mensagem com dados.

https://amzn.to/3lu3jiZ

Use a IA só na máquina de lavar

Há 15 anos, num dia como hoje, eu estava tendo aulas de redes neurais no mestrado em Eletrônica, na Coppe UFRJ.

Naquela época, a melhor redes neural que conseguíamos fazer tinha 3 camadas e uma dúzia de neurônios por camada. Entretanto, já era um campo promissor, para visionários.

Perguntei ao meu professor: “Você confiaria numa rede neural para dirigir um carro ou fazer uma operação médica?”

A resposta foi algo como: “Colocar IA numa máquina de lavar, sem problemas. Agora, para situações importantes, não”.

A IA teve uma evolução exponencial desde então. Saiu do inverno para o verão, com avanços em pacotes computacionais (PyTorch, TensorFlow), novas técnicas (convolucional, transformer), e até em hardware (como GPU e TPU).

Entretanto, a resposta continua valendo.

A IA atual é uma caixa-preta: entra um monte de dados e sai uma decisão. Talvez seja uma caixa mais poderosa, mas a essência é a mesma.

O problema de uma caixa-preta é que ela vai funcionar extremamente bem, uns 98% dos casos, até o dia em que vai dar problema. E, se o dispositivo controlado for numa grande indústria, ou um carro autônomo, será um problema catastrófico, daqueles que põe em risco a confiança no trabalho todo.

Tanto é que uma das linhas de pesquisa mais importantes dos dias de hoje é o Explainable AI: abrir um pouco da caixa, entender de alguma forma o que está acontecendo, mesclar o poder da rede neural com regras explícitas.

E outra linha quente de pesquisas é a Ética em IA: de quem será a culpa, no caso de um atropelamento? Do fabricante? Do usuário que confiou no veículo? Da caixa-preta que ninguém sabe interpretar? Do engenheiro que treinou o algoritmo? Haverá auditoria de algoritmos, por parte do governo? São perguntas difíceis de responder.

De qualquer forma, é melhor seguir o conselho do meu professor: utilize AI em processos não críticos, no seu equivalente da máquina de lavar.

https://ideiasesquecidas.com/

Recomendação de livro: Hacking Digital

Quando falamos de transformação digital, 99% dos livros atuais focam na parte técnica. Este livro é diferente, é voltado à implementação numa grande empresa. Há uma diferença enorme entre fazer uma prova de conceito funcionar e convencer a empresa a mudar processos e sistemas para adotá-la em escala!

Estamos chegando numa era em que o conhecimento técnico está dominado. Não faltam boas e novas ideias. Os especialistas estão se formando em universidades e cursos complementares (embora ainda em número insuficiente). Agora o gargalo está sendo colocar em prática, integrar e escalar de forma coerente essas soluções inúmeras.

Este é um guia pragmático, vindo de gente que realmente tem know-how sobre o tema.

Alguns highlights:

  • Em 2023, gastos com transformação digital chegarão a US$ 2,3 tri.
  • A transformação digital é difícil. Apesar do que podem pregar alguns consultores, não é fácil. Acreditem.
  • 87% dos programas de transformação digital falham em atingir as expectativas originais!

Dá para dividir a transformação em três fases: Iniciação, Execução e Ancoragem.

  • A Iniciação envolve construir uma fundação sólida: criar momentum, estabelecer objetivos e entender o panorama da empresa.
  • A Execução responde por 70% do esforço, e envolve construir (portfólio balanceado, governança) e integrar esforços digitais com outras áreas (operações, TI, RH).
  • A última fase, de ancoragem, representa os 20% finais, e é a fase de embutir os sistemas digitais no processo, de modo que o digital se incorpore no negócio.

Sobre patrocínio, governança e TI tradicional

  • A duração média de um Chief Digital Officer é de 2,5 anos.
  • Evite objetivos complicados demais.
  • Alinhe com a direção da empresa para a transformação digital.
  • A governança é chave para o sucesso da transformação. Há prós e contras em ter times separados x integrados ao restante da organização – na prática, é sempre um modelo híbrido que depende do contexto. Seja claro em responsabilidades e tenha boas métricas.
  • Como fazer Digital e TI trabalharem juntos? A TI tradicional e a área de mudanças digitais geralmente têm conflitos relacionais. A TI tradicional cuida do legado, do que está rodando, segurança, garantia de estabilidade e qualidade. Já soluções digitais têm foco em velocidade, experimentação, desenvolvimentos novos e centrados em dados e analytics.

Sobre portfólio e áreas internas e externas

  • O portfólio de trabalhos deve ser balanceado, em termos de riscos, horizontes de tempo, habilidades necessárias e complexidade.
  • Internamente, é importante despertar a consciência digital, desenvolver skills e também criar urgência nas soluções digitais. Aumentar o QI digital e desenvolver as habilidades analíticas necessárias para o negócio são o desafio chave da transformação.
  • Externamente, focos citados são parceiros e ecossistemas, além de cuidados em questões sociais e ambientais.

Diversos dos pontos citados são mais fáceis de apontar do que fazer de fato – por isso a necessidade de alinhamento com lideranças, consciência digital e o alto esforço na execução (70%).

Quando a transformação digital virar o negócio como usual, você terá chegado lá.

Por fim, a transformação digital não é um projeto, mas sim, uma longa jornada. E uma longa jornada começa no primeiro passo, como já dizia um velho provérbio chinês.

Agradeço ao amigo Octaciano Neto pelo livro.

Link da Amazon
https://amzn.to/3KdUO5E

Hacking Digital, por Michael Wade e outros profissionais do International Institute for Management Development (IMD).

Veja artigos semelhantes e me siga no LinkedIn:

https://www.linkedin.com/in/arnaldogunzi/

Os efeitos gênesis e apocalipse dos modelos de otimização

 
Quando falamos que encontramos a “solução ótima”, esta é com aspas mesmo: todo modelo é necessariamente uma simplificação do mundo real, extremamente complexo e cheio de efeitos de segunda e terceira ordem.
 
O “efeito gênese” ocorre no início, quando as variáveis ainda não estão “a todo vapor”. É a fase de aquecimento, transitória, e o modelo ainda é jovem demais para aproveitar.
 
Já o “efeito apocalipse” ocorre no final. Como o mundo do modelo acaba com o fim da simulação, ele tende a otimizar tudo: para de produzir, consome todo o estoque, curte a vida adoidado.
 
Nem todos trabalhos sofrem com esses efeitos, obviamente depende do caso. São mais frequentes principalmente nos que envolvem o tempo.


 
Para contrabalancear. No caso da gênese, começar com variáveis iniciais próximas ao estável – ou deixar rodar por alguns períodos e desprezar esse começo. No caso do apocalipse, a mesma coisa: ter restrições contrabalanceando o mínimo de variáveis, e/ou deixar ele rodando por um tempo e desprezar os períodos finais.
 
Quando a gente constrói um modelo e manda otimizar, ele otimiza mesmo, e encontra furos que não fazem sentido na vida real. Boa parte do trabalho é ficar fechando esses furos lógicos.
 
Fica a dica.

Veja artigos semelhantes e me siga no LinkedIn:

https://ideiasesquecidas.com/2021/12/19/o-bilionario-que-fazia-graficos-com-lapis-coloridos/

https://www.linkedin.com/in/arnaldogunzi/

Por que o Chief Data Officer dura tão pouco nas empresas?

Tom Daveport começa com uma questão. Por que o Chief Data Officer (o executivo chefe de dados) dura tão pouco tempo nas empresas?

– Atualmente, a duração no cargo é de cerca de dois anos, dois anos e meio;

– A lua de mel acaba depois de 18 meses, depois vêm as cobranças;

– Pela demanda estar em alta, eles acabam encontrando espaço em outras empresas, onde recomeçam o mesmo ciclo;

– Alguns CDOs incorporam também a parte de Analytics e Inteligência Artificial.

Alguns problemas:

– O escopo do trabalho e prioridades são mal definidos desde o início;

– Há uma alta expectativa para o cargo, porém além de implementar Analytics, são necessárias mudanças transformacionais grandes sobre organizações com grande legado. Há enorme necessidade de change management;

– Os CDOs têm dificuldades de vender o trabalho para os seus pares C-Level. Mesmo quando há ganhos, estes são relativamente invisíveis e difíceis de mensurar. Embora os CDOs tenham experiência no tema, podem não ter experiência política do cargo;

Dicas e projeções para o futuro:

– Começar com uma conexão clara com a estratégia de negócios e casos tangíveis;

– Após os projetos piloto, os CDOs devem implementar produtos escaláveis e sustentáveis para agregar valor às unidades de negócio, assim como balancear quick-wins com iniciativas estruturantes;

– Liderar as transformações organizacionais, tomando o cuidado de não ficar relegado a ações de back office;

-Nos próximos 5 – 10 anos as companhias vão continuar evoluindo em termos de habilidades e conhecimento e veremos uma crescente aceitação do papel de CDO.

Artigo original:

Meetup Computação Quântica

Tive a honra de ser convidado para um Meetup do Centro de #Analytics Raízen, para comentar do meu tema favorito: computadores quânticos.

Discutimos conceitos básicos Bit x Qubit, sobreposição, entanglement. Algumas aplicações possíveis: quebrar criptografia atual, criar uma nova criptografia à prova de espiões, avanços em algoritmos de otimização e de simulação de moléculas químicas.

Como o pessoal ali é fera, também pediram algumas demonstrações na linguagem #Qiskit, da #IBM.

Por fim, experimentos que venho conduzindo na #Klabin e algumas das (enormes) dificuldades encontradas para fazer esta tecnologia virar realidade na prática.

Em resumo, #quantumcomputing é uma tecnologia que pode ser disruptiva (ou não) nos anos vindouros: se vingar, alguns setores da indústria e do governo podem sofrer enorme impacto, se não vingar, pelo menos parte da teoria será útil para atacar problemas do mundo atual, por uma perspectiva completamente nova.

Manufacturing summit

Participei do Manufacturing Summit 2022, discutindo sobre #advancedanalytics e #AI.

Alguns temas principais abordados:

– A cada dia, mais sensores estão gerando dados, e bases estão sendo digitalizadas e integradas;

– Por outro lado, métodos analíticos avançados e AI estão cada vez mais acessíveis, por avanços em software e hardware;

– Existe uma tendência mundial de centros de excelência, para acelerar a transformação digital, agregar valor de forma eficiente e colher ganhos;

– Começar pequeno, agregar valor, mostrar trabalho, e isso vai retornar em demandas cada vez mais nobres, um ciclo virtuoso;

– Além de agregar valor diretamente com projetos, também é possível dedicar parte do tempo para treinamentos, eventos e mentoria de analistas das áreas de negócio da empresa;

– Por fim, ter em mente que a otimização de recursos, aumento de produtividade, etc, vai retornar para o consumidor final e a sociedade como um todo, na forma de um produto mais barato e sustentável.

Agradeço pelo convite, e estou à disposição de quem quiser trocar experiências.

Máximo Divisor Comum Visual – parte 1

Continuando a série de Teoria dos Números Visual, o tópico agora é o MDC.

O máximo divisor de comum de dois números a e b é o maior inteiro que divide a e b, sendo ambos diferentes de zero. Denota-se o mdc por (a,b).

Exemplo visual. Sejam a = 16 e b = 12. O mdc será d = 4, pois é o máximo de colunas que a base da composição pode ter para dividir tanto as pedrinhas de a quanto de b.

Utilizando o mesmo exemplo, 8 não é o mdc (12, 16), pois embora divida 16, vai deixar resto ao dividir 12 – é como se não conseguíssimos colocar todas as pedrinhas igualmente distribuídas em 8 colunas.

Teorema. Seja d = mdc(a,b), então existem inteiros n e m tais que d = n*a + m*b.

Uma prova informal: se d|a e d|b, d|(m*a + n*b), conforme resultado já mostrado anteriormente, isso para qualquer m e n inteiros (positivo, negativo, zero). Ou seja, algum caso particular m0 e n0 vai dar a menor soma positiva possível c = m0*a + n0*b, e como d|( m0*a + n0*b), então d|c. Além disso, como c é a menor soma positiva possível, c = d.

Exemplo: 4 = 16*1 + 12*(-1)

Para uma prova mais formal, vide referência no final do texto.

Teorema: O máximo divisor comum d de a e b é o divisor positivo de a e b o qual é divisível por todo divisor comum.

O mdc é o maior divisor comum, porém, isso não quer dizer que não haja outros divisores comuns. Se houver, esse divisor vai dividir o mdc.

Ex. 2 é divisor comum de 16 e 12, porém, não é o maior divisor comum.

E notar que 2 | 4, ou seja, um divisor comum de 16 e 12 vai dividir o mdc.

Proposição: Para todo inteiro positivo t, (ta,tb) = t(a,b).

Exemplo visual:

Proposição: Se c>0 e a e b são divisíveis por c, então, (a/c,b/c) = (a,b)/c.

É basicamente similar à proposição anterior, porém dividindo ao invés de multiplicar.

Exemplo visual:

mdc(12,16) =4

2|12 e 2|16

mdc(12/2,16/2) =4/2 =2

(Continua)

Para uma prova mais formal, vide referência abaixo.

Referência: Introdução à Teoria dos Números, José Plínio de Oliveira Santos, Instituto Nacional de Matemática Pura e Aplicada.

Uma bobina a mais e o MP Load

Descrevendo uma situação que me deixou bastante feliz. Durante visita à unidade de Sacos, em Lages, o meu amigo Marcelo Oliveira contou que a utilização do MP-Load, descrito abaixo, possibilitou o envio de um pallet a mais no contêiner. “Não cabe”, dizia o pessoal; “Cabe, olha só o estudo”, disse o Marcelo.

O MP Load é uma ferramenta extremamente simples, feita em Excel – VBA.

Basta preencher as dimensões (Altura – Largura – Comprimento) e carga máxima do contêiner; e dimensões da bobina a ser transportada – diâmetro externo, largura e peso individual.

As unidades das dimensões estão em milímetros.

Como hipótese, as bobinas sempre vão de pé, e todas as bobinas são iguais. O limite é o volume geométrico ou o peso máximo, o mais restritivo.

Há ferramentas de formação de carga extremamente mais complexas, que conjugam bobinas de vários tipos, deitadas, de pé, etc. Porém, a situação simples de bobina única e de pé deve atender uns 90% das situações, e a beleza é ela ser puramente geométrica, simples de resolver.

O MP Load surgiu com a inspiração acima, pelo amigo Didiel Peça. A ideia era utilizar na hora de tirar pedidos dos clientes de mercado externo, de modo que o valor solicitado fechasse exatamente a carga de um contêiner.

Para o caso de Pallets, basta escolher “P” no campo. As dimensões agora são comprimento – largura – altura (pelo pallet ser retangular) e o peso por pallet.

Há também uma folga adicional de 10 mm no comprimento e na largura, por hipótese.

E que diferença faz uma bobina a mais por carregamento, ou um pallet a mais? Otimização de frete.

Uma bobina faz pouca diferença, individualmente. Mas uma bobina, multiplicada por todas as áreas que otimizam o carregamento, multiplicada por todos os dias em que o estudo é feito, faz toda a diferença.

Segue link.

https://1drv.ms/x/s!Aumr1P3FaK7jn2hfs8JKd7qiZX30

Hipóteses utilizadas:

  • As bobinas são todas idênticas (idem para pallets)
  • As bobinas sempre vão de pé
  • No caso de pallets, há uma folga considerada de 10 mm
  • O comprimento do contêiner é maior do que a largura do mesmo

Como o cálculo é realizado?

Tanto para bobinas quanto para pallets, são analisados dois padrões: retangular e zig-zag

O padrão retangular é um do lado do outro.

Para o cálculo, arrendondar para baixo as dimensões do contêiner dividido pelo diâmetro da bobina.

Já o padrão zig-zag (por falta de um nome melhor), considera um encaixe tipo laranjas empilhadas:

Sejam c e d catetos de um triângulo retângulo, com a hipotenusa sendo o diâmetro externo.

d = sqrt ( Dext^2 – c^2)

Se encontrarmos o valor de c, o valor de d estará definido pela fórmula acima.

No zig-zag, o contorno externo terá um Dext de dimensão, e as camadas internas serão X vezes a dimensão c.

O limite máximo para X é dado pela (Largura do contêiner – Dext) dividido pelo Dext, arredondando para cima.

Com isso, calculamos o número de linhas X, o c e o d, todos os parâmetros para a distribuição.

Por fim, analisamos o carregamento pelo padrão retangular x padrão zig-zag, e pegamos o que ficou melhor.

Um mundo melhor através do Analytics.

https://ideiasesquecidas.com

Veja também:

Prêmio Brasil, como referência em Data Science

Bom dia, rede. Estou concorrendo ao Prêmio Brasil, como referência em Data Science, patrocinado pela Cognitivo AI.

Lidero um time que faz Advanced Analytics na gigante #Klabin S.A.

A operação florestal Klabin PR é uma das mais complexas do mundo em um único site. Há camadas de planejamento desde o longo prazo (30 anos) até on-line. Trabalhos incluem programação linear inteira para otimização do planejamento, algoritmos de roteirização e despacho de veículos, simulador da cadeia, obviamente com apoio de muitas outras mãos.

Na área industrial e outras áreas, calendário e trim da máquina de papel, forecasts, simuladores de cenários e diversos outros.

Para fortalecer a comunidade de Data Science:

– Administro uma lista de Excel VBA, com mais de 250 pessoas

– Sou divulgador da Computação Quântica no Brasil, sendo IBM Qiskit Advocate desde ago/21.

– Convido todos a visitar o meu blog: Ideias Esquecidas.

Peço apoio de vocês para votar e divulgar, no link abaixo:

https://docs.google.com/forms/d/e/1FAIpQLScZxzoR4P3HVCPOgsCYXeOinmvK8zIwI2SgGLyg4Z3fzBrpWw/viewform?pli=1

Prova visual da divergência da série harmônica

A série harmônica é dada por:

Ela tem esse nome por conta do conceito de harmônicas, em música. Imagine prender uma corda de piano a um tamanho 1, depois a metade do tamanho, 1/3 do tamanho, etc.

É um resultado conhecido desde Bernoulli, no séc XVII, que a série harmônica diverge: o somatório dos termos tende a infinito.

A prova dos livros de matemática consiste em comparar com uma série conhecidamente divergente:

1/2 + 1/2 + 1/2 + …

Se eu somar o número 1/2 infinitamente, claramente a série vai divergir.

A série harmônica é maior do que a série divergente acima, basta rearranjar os termos. A figura acima ilustra as operações envolvidas.

Embora a série harmônica divirja, ela o faz muito lentamente.

Um programinha de 4 linhas em Python, para 1000 termos:

harmonic=0
for i in range(1,1001):
harmonic += 1/i
print(harmonic)

Para 1000 termos, a soma dá 7,48.

Para 1 milhão de termos, a soma dá 14,39.

A soma dos primeiros 1043 termos é menor do que 100, segundo a Wikipedia, cujo link consta abaixo e tem outras informações interessantes.

É como a tartaruga do conto de Esopo: parece que nunca vai chegar lá, mas lenta e consistentemente, sempre cruza a linha de chegada!

Vide também:

https://en.wikipedia.org/wiki/Harmonic_series_(mathematics)

Exercício – cifra de substituição simples

Aproveitando a onda do post anterior (https://ideiasesquecidas.com/2021/10/11/escaravelho-dourado-decifre-o-enigma-de-allan-poe-com-python/), segue um pequeno exercício.

Qual a mensagem abaixo, sabendo que é uma cifra de substituição simples, e está escrito em português brasileiro?

)%__#<]%-<;<]_<)%__#](<%;?<(?[<+%:?#?;[|*_?)?_)&<[)$<%@}??$-?$;?##<)+%:?$<%?$-?$;?)?_)&<[)+%:?:_@&<)?_)&<[)&%(-_;%?[))%?<>)_(;%)<%:([<$:<):%#%+%:?%*_?+%:?+<[)?(*_<$;%+%:?:(?):?(

Att