Visão geral do laboratório
Seu colega está de férias, por isso você está responsável pelo trabalho de engenharia de dados da organização por um dia. Coloque-se no lugar do colega e explore diversas opções gerenciadas para movimentação de dados na Amazon Web Services (AWS). Considere padrões de arquitetura, otimizações de desempenho e custos, bem como práticas recomendadas de segurança e impressione seu colega quando ele voltar ao escritório!
Seu colega forneceu um ambiente de sandbox para você poder experimentar e testar uma prova de conceito (POC) durante a ausência dele. Você decidiu explorar dados que acredita que ajudarão a expansão bem-sucedida da sua pequena empresa para novas cidades. Você usará o conjunto de dados da Administração Oceânica e Atmosférica Nacional (National Oceanic and Atmospheric Administration, NOAA) dos Estados Unidos, que oferece um histórico de dados meteorológicos diários. Você acredita que esses dados podem ajudar sua empresa a determinar quando deve estocar itens de verão, e não de inverno, nas cidades para as quais está se expandindo. Para a POC, você deve priorizar as métricas de temperatura e precipitação.
Este laboratório usa o conjunto de dados Global Surface Summary of Day (GSOD) da NOAA, acessado em 5 de agosto de 2022, em https://registry.opendata.aws/noaa-gsod. Esse conjunto de dados é uma coleção das medidas meteorológicas diárias (temperatura, velocidade do vento, pressão, entre outras) de mais de nove mil estações meteorológicas no mundo todo. Os dados foram coletados originalmente pelo Centro Nacional de Dados Climáticos (National Climactic Data Center) dos Estados Unidos. Devido ao limite de tempo do laboratório, o conjunto de dados usado foi reduzido para incluir um subconjunto dos anos disponíveis no conjunto de dados completo.
Objetivos
Você vai aprender o seguinte no laboratório:
- Criar um crawler do AWS Glue.
- Criar e executar um trabalho no AWS Glue Studio.
- Explorar as permissões necessárias para executar crawlers do AWS Glue e trabalhos do AWS Glue Studio.
- Consultar o Catálogo de dados do AWS Glue usando o Amazon Athena.
Duração
O laboratório leva aproximadamente 60 minutos para ser concluído.
Chave do ícone
- Observação: uma sugestão, dica ou orientação importante.
- Saiba mais: onde encontrar mais informações.
- Tarefa concluída: um ponto de conclusão ou de resumo no laboratório.
- Atualizar: um momento em que talvez seja necessário atualizar uma página ou lista do navegador da web para mostrar novas informações.
