70 ferramentas para trabalhar com dados em 90 minutos

  1. Webscraper
    • Extensão do chrome
    • Funciona dentro do webinspector
    • Raspa dados sem necessidade de programação #raspagem
    • #semprogramação
  2. OpenRefine
    • Open Source
    • Vigilância sanitária dos dados
    • Diferencial: cluster and edit #limpeza #semprogramação
  3. Convextra
    • Plugin para o browser
    • Data mining sem código #raspagem #semprogramação
  4. IFTTT
    • Serviço web
    • Conecta outros serviços, aplicativos e devices
    • Pode servir para coletar dados sobre um tema em redes sociais #coleta
    • #semprogramação
  5. Achados e pedidos
    • Plataforma que reúne milhares de pedidos de acesso à informação de cidadãos
    • Traz as respostas da administração pública feitas via Lei de Acesso à Informação (LAI)
    • Antes de pedir pela LAI, veja se a resposta já está disponível (e poupe 20 dias)
    • #coleta
    • #semprogramação
  6. Tabula
    • Open Source
    • Liberta tabelas de PDFs
    • Interface amigável
    • Sem OCR!!! #conversão #semprogramação
  7. Google Sheets
    • O Excel do Google
    • Serviço web
    • Documentos compartilháveis
    • Edição colaborativa
    • #análise
    • #semprogramação
  8. Pandas
    • Biblioteca de Python
    • Excelente toolkit para análise de dados
    • Facilita operações para manipulação de tabelas numéricas e séries temporais
    • #análise
    • #programação
  9. NLTK
    • Natural Language Toolkit
    • PLN: Automatizar a compreensão das línguas humanas
    • Biblioteca em Python para processamento de linguagem natural
    • Permite processamento em português
    • #análise
    • #programação
  10. RStudio
    • Programa open source que traz uma interface gráfica mais amigável para utilizar o R
    • R = linguagem de programação para gráficos e cálculos estatísticos
    • #análise
    • #programação
  11. DB Browser
    • Programa que permite visualizar, editar e executar scripts SQL
    • Permite navegar ou alterar dados, executar scripts, exportar e imprimir dados
    • #análise
    • #programação
  12. Jupyter
    • Aplicativo que produz documentos com códigos de programação (por exemplo, em Python) e elementos de
    • texto (parágrafo, equações, figuras, links, etc)
    • São documentos legíveis por humanos e executáveis por computador (para realizar a análise de dados, por
    • exemplo)
    • #programação
  13. TensorFlow
    • Biblioteca open source para aprendizado de máquina
    • Lançada pelo Google
    • Permite treinamento de redes neurais para detectar e decifrar padrões e correlações
    • #machinelearning
    • #programação
  14. Numpy
    • Pacote para a linguagem Python
    • Para trabalhar com computação científica
    • Possui uma larga coleção de funções matemáticas #análise
    • #programação
  15. Storymap
    • Possibilita plotar narrativas em mapas
    • Linka com fotos e vídeos #visualização #semprogramação
  16. Carto
    • Ferramenta de visualização de dados em mapas
    • Transforma automaticamente dados não geolocalizados #visualização
    • #semprogramação
  17. Timeline Knightlab
    • Ferramenta web que possibilita a criação de cronologias
    • Interface de edição no Google Sheets
    • #visualização
    • #semprogramação
  18. Ushahidi
    • Ferramenta open-source para a coleta de informações, visualização e mapeamento interativo
    • Coleta crowdsourcing de dados: do twitter, de celulares, etc #coleta
    • #semprogramação
  19. Import.io
    • Ferramenta que permite realizar raspagem de dados sem programação
    • Interface amigável
    • Ferramenta paga
    • #raspagem
    • #semprogramação
  20. Cometdots
    • Serviço de conversão de arquivos PDF em diferentes formatos
    • Possui uma API para conversão automática de vários arquivos PDF para outros formatos
    • #conversão
    • #semprogramação
  21. ArborJS
    • Biblioteca JavaScript para visualização de grafos #visualização
    • #programação
  22. Gephi
    • Ferramenta open source para visualização de grafos
    • Permite análise e visualização de redes #visualização
    • #semprogramação
  23. BeautifulSoup
    • Biblioteca em Python para raspagem de dados #raspagem
    • #programação
  24. Google Fusion Tables
    • Ferramenta web criada pelo google para análise e visualização de dados
    • Capacidade de trabalhar com datasets mais robustos
    • #analise #visualização
    • #semprogramação
  25. Tesseract
    • Software de reconhecimento ótico de caracteres de código aberto
    • Para os F&*#$ PDFs que são imagem!
    • #raspagem #conversão
    • #semprogramação
  26. Workbench
    • Combina raspagem, análise e visualização de forma simples
    • Funciona a partir de módulos que podem ser facilmente montados em um “fluxo de trabalho”
    • Compartilhável e produz gráficos publicáveis ou uma live API #semprogramação
  27. Tableau Public
    • Como andar de bicicleta: aprender pode ser um pouco doloroso, mas depois fica mole-mole e é só alegria
    • Poderosa para análise e visualização
    • Versão gratuita atende muito bem ao jornalismo
    • Conferências inteiras são realizadas em torno dela
    • #visualização
    • #semprogramação
  28. TreeMap
    • Ferramenta paga para criação de tree maps #visualização
    • #semprogramação
  29. Datawrapper
    • Cria gráficos e mapas
    • Gratuita até 10.000 views
    • Vejam também: river.datawrapper.de (playground pra trocar gráficos)
    • #visualização
    • #semprogramação
  30. Plotly
    • Biblioteca open-source JavaScript, R e Python para visualização de gráficos
    • #visualização
    • #semprogramação
  31. Hadoop
    • Software de código aberto para processar grandes bases de dados
    • #análise
    • #semprogramação
  32. Neo4J
    • Plataforma para criação e manipulação de grafos
    • Utilizado para os Panama Papers e Paradise Papers #visualização
    • #semprogramação
  33. D3js
    • Biblioteca javascript que permite manipular dados e gerar gráficos usando HTML, SVG e CSS
    • #visualização
    • #programação
  34. Google Earth
    • Programa que apresenta modelos tridimensionais do globo
    • Permite explorar espaços do globo e marcar trajetórias #visualização
    • #semprogramação
  35. Infogram
    • Ferramenta de visualização de dados
    • Diferentes tipos de gráfico
    • Interface de edição amigável #visualização #semprogramação
  36. Document Cloud
    • Catálogo online de documentos para jornalistas
    • Facilita a compreensão dos documentos classificando entidades (datas, pessoas, etc)
    • #armazenamento #análise
    • #semprogramação
  37. TexTexture
    • Visualiza textos como redes
    • Resumo visual rápido do texto #análise
    • #semprogramação
  38. Ai2HTML
    • Ferramenta open-source para converter documentos feitos no Adobe Illustrator em html e css.
    • Vantagem: podemos “escalar” o gráfico (maior ou menor), mas manter o texto legível com o mesmo tamanho
    • da fonte e altura da linha.
    • #conversão
    • #semprogramação
  39. Timeline Storyteller
    • Ferramenta para criar linhas do tempo e séries temporais em diferentes tipos de representação
    • #visualização
    • #semprogramação
  40. RawGraphs
    • Ferramenta de visualização Open Source
    • Diferentes tipos de gráficos e layouts
    • Modelo “drag and drop”
    • #visualização
    • #semprogramação
  41. ColorBrewer
    • Ferramenta sugere paleta de cores para utilização em mapas
    • #visualização
    • #semprogramação
  42. E2D3
    • Excel to D3
    • Permite criar gráficos dinâmicos e interativos no Excel sem programação
    • Faz a ponte entre uma ferramenta de análise estatística (Excel) e uma ferramenta gráfica (D3.js)
    • #conversão
    • #semprogramação
  43. Piktochart
    • Ferramenta para a construção de infográficos
    • Interface amigável, parte de templates básicos formatáveis #visualização
    • #semprogramação
  44. BitBucket
    • Sistema de controle de versão distribuída
    • Semelhante ao GitHub, mas é pago
    • #programação
  45. Tulip
    • Ferramenta útil para estilizar mapas coropléticos
    • Parte de arquivos GeoJSON (formato para dados geográficos baseado em JSON)
    • #visualização
    • #programação
  46. Typing.io
    • Serviço web para treinar escrita de código
    • Serve para diferentes linguagens ( JavaScript, Ruby, C, C ++, Java, PHP, Perl, Haskell, Scala e outras)
    • #programação
  47. Parserator
    • Analisa e divide textos não estruturados e transforma em dados estruturados
    • Funciona para endereços e nomes
    • #análise
    • #semprogramação
  48. DataStudio
    • O “Tableau” do Google!
    • Vantagem: possibilidade de edição compartilhada
    • Gera dashboards e relatórios sem complicação #visualização
    • #semprogramação
  49.  Linkurious
    • Ferramenta web para construção de grafos
    • Permite integração com datasets de bilhões de linhas
    • Possibilita análise de bases orientadas a grafos
    • #visualização
    • #semprogramação
  50. Visualize Free
    • Ferramenta para criar dashboards interativos
    • Semelhante ao Tableau
    • Conecta com diferentes tipos de dados
    • Bom para gerar relatórios
    • #visualização
    • #semprogramação
  51. ElasticSearch
    • Servidor de buscas baseado em um software em Java especializado em indexação e buscas ultra rápidas
    • Motor de pesquisa textual altamente escalável
    • Permite armazenar e analisar grandes volumes de informações praticamente em tempo real
    • #armazenamento #análise
    • #semprogramação
  52. Google Dataprep
    • Ferramenta Google para data wrangling
    • Interface amigável
    • Possibilidade de edição compartilhada #limpeza
    • #semprogramação
  53. VozData
    • Plataforma de colaboração aberta criada para transformar documentos públicos em informação útil
    • Deu origem a diversas reportagens guiadas por dados do La Nación Argentina
    • #coleta
    • #semprogramação
  54. TimeMapper
    • Cria cronologias em cima de mapas
    • Permite navegar sobre imagens #visualização #semprogramação
  55. PDFPlumber
    • Biblioteca Python para libertar tabelas de PDFs #conversão
    • #programação
  56. PDF Tables
    • Conversor de tabelas de PDFs para formatos abertos (CSV, por exemplo)
    • #conversão
    • #semprogramação
  57. HTMLWidgets
    • Permite “converter” visualizações feitas a partir de bibliotecas JavaScript (como D3) em visualizações para R
    • Permite criar dashboards
    • #visualização
    • #programação
  58. QGis
    • Programa open source para criação e manipulação de mapas
    • #visualização
    • #semprogramação
  59. Polymaps
    • Biblioteca JavaScript para gerar mapas utilizando arquivos SVG #visualização
    • #programação
  60. Netlytic
    • Ferramenta de monitoramento de mídias sociais
    • Paga, mas planos mais baratos que os apps comerciais
    • Interface com Twitter, Facebook, YouTube, Instagram, Feeds e Google Drive.
    • #redessociais
    • #semprogramação
  61. Flourish
    • Ferramenta de visualização de interface amigável
    • Diferentes tipos de gráficos e layouts
    • Permite criar animações com gráficos #visualização
    • #semprogramação
  62. DataGifMaker
    • Gifs para comparar termos de busca no Google
    • Interface de edição simples
    • Apenas 4 cores, quase nenhuma possibilidade de customização #visualização
    • #semprogramação
  63. TAGS
    • Twitter Archiving Google Sheets
    • Template do sheets que coleta tweets a partir de resultados de uma busca
    • Facilmente configurável
    • #redessociais #coleta
    • #semprogramação
  64. Netvizz
    • Aplicativo do Facebook que captura e planifica dados de posts, usuários e interações em páginas ou grupos
    • Funciona apenas com páginas e grupos abertos
    • Anonimiza os usuários
    • #redessociais #coleta
    • #semprogramação
  65. Flocker
    • Aplicativo que estrutura redes de retweets e menções em tempo real
    • Permite exportar em Gexf, SGV e PNG
    • #redessociais #coleta
    • #semprogramação
  66. NodeXL
    • Extensão do Microsoft Excel
    • Permite a análise de redes e tem a opção de captura de dados do Twitter e do Facebook (+ Youtube e Flickr)
    • #redessociais #análise #coleta
    • #semprogramação
  67. Public Data Explorer
    • Facilita a exploração e visualização de grandes conjuntos de dados públicos relevantes
    • Funciona melhor em ENG
    • Permite o upload e compartilhamento de bases próprias #coleta #análise #visualização
    • #semprogramação
  68. Crowdtangle
    • Ferramenta para rastrear a difusão de conteúdo em redes sociais
    • Identifica influenciadores
    • Não é gratuita (mas dá para conseguir acesso como jornalista) #redessociais #análise
    • #semprogramação
  69. Googleform
    • Ferramenta do G Suite para produzir questionários online
    • Permite personalizar os formulários e incluir imagens (ex: logo)
    • Possui diversos tipos de perguntas: múltipla escolha, caixas de checagem (em que mais de uma resposta pode
    • ser escolhida), escalas, listas suspensas e mais
    • #coleta
    • #semprogramação
  70. QuickCode
    • Ferramenta que permite programar em R e Python sem precisar instalar programas
    • Suporte de uma comunidade de desenvolvedores
    • Biblioteca de códigos bem indexada
    • #raspagem #limpeza #análise
    • #programação

 

Essa lista foi produzida pela Natália Mazotte, da Escola de Dados para o workshop “70 ferramentas para trabalhar com dados em 90 minutos” no CODA.BR (Conferência Brasileira de Jornalismo de Dados e Métodos Digitais)

Link:  https://docs.google.com/presentation/d/17fUHRK_qZ-BhKjQkSWPBMQcjZ7sRKz8rIHRdT9masGw/edit#slide=id.g32c1a5d5d8_0_484

Agradecimentos a Natália, pelo excelente trabalho!

 


Você conhece alguém que adoraria receber essa lista?

Então faça um favor para ela (e para mim) e compartilhe essa lista.

Você pode compartilhá-lo no Facebook, Twitter, ou até mesmo copiar a URL desse artigo e enviar para quem precisa dele.

E, para finalizar, eu adoraria saber a sua opinião.

Deixe um comentário logo abaixo sobre o que você mais gostou, ou sobre alguma dica extra que você deseja compartilhar conosco ou até mesmo alguma crítica sobre este artigo.