What you'll learn:
- Engenharia de Dados com Python
- Aplicações em Streaming
- ETL e Data Crawlers:
- Gerenciamento de serviços pela CLI
- Introdução do Ecossistema Hadoop:
- NoSQL
- Spark
- Data Warehouse Moderno
- Data Lake
- Modelo Dimensional
- Modelo Relacional
- Linguagem SQL
- Computação na Nuvem
Totalmente atualizado em Setembro de 2022! Faça o utilizando ferramentas na nuvem, tudo o que você precisa é de um computador com acesso a internet!
A Engenharia de Dados é uma das profissões que mais cresce no mundo, com alta demanda de profissionais e consequentemente salários cada vez maiores, além de muitas oportunidades para trabalhar para empresas estrangeiras ou mesmo para uma carreira no exterior!
Este émais completo e acessível curso para você entrar ou se especializar no mundo dos Dados!
OEngenheiro de Dados é o profissional que constrói, mantém e disponibiliza dados em empresas. Com ambientes cada vez mais complexos, este profissional deve conhecer diversas estruturas e tecnologias de dados. Neste curso, você vai ter um panorama geral sobre as principais modelos e tecnologias de dados que encontramos no mundo da ciência de dados.
Entre outras coisas, você vai estudar:
Conceitos e Fundamentos
Armazenamentos de dados distribuidos
Modelo Relacional e Linguagem SQL: Operação. Modelos relacionais estão em toda parte, são sistemas contabeis, folhas de pagamento, estoque, finanças etc. Embora este seja um modelo mais antigo de dados, é sem dúvida ainda o mais importante!
Modelo Dimensional: Tomada de Decisão. Modelos dimensionais são utilizados para construir armazéns de dados, que nada mais são "depósitos"de informação utilizada para apoiar a tomada de decisão.
Data Warehouse Moderno e Data Lake:Os armazens de dados modernos são estruturados em colunas e otimizados através de partições
NoSQL: Orientado a Documento e Chave Valor: Dados semi-estruturados com MongoDB e Redis. NoSQLé uma familia de bancos de dados para modelos diferenciados, para armazenar informações que não tem as restrições encontradas em sistemas de transações.
Introdução do Ecossistema Hadoop:Este ecossistema que foi o pioneiro no processamento de grandes volumes de dados
Spark: OSpark é uma das mais importantes ferramentas de Engenharia e Ciência de Dados, capaz de processar grandes volumes de dados com alta performance.
Engenharia de Dados com Python: OPython se tornou a mais importante linguagem imperativa no mundo dos dados.
Aplicações em Streaming:Real Time e Near Real Time: Dados em streaming são aqueles que são produzidos e forma contínua, e que precisam ser processados de forma contínua.
ETL e Data Crawlers: Extrair, transformar e entregar dados é uma tarefa de rotina na engenharia de dados
Gerenciamento de serviços pela CLI
Algumas das ferramentas que serão utilizadas e estudadas durante o curso:
Postgresql
S3
EC2
Redshift
Mongodb
Redis
Databricks
RDS
Kinesis
Glue
Athena
Você também terá dois grandes projetos práticos para desenvolver ao final do curso:
Construção de um Data Lake
Construção de um Pipeline de Extração e Transformação de Dados
O curso ainda traz todo material, como slides e scripts, disponíveis para você baixar.
