4.15 out of 5
4.15
277 reviews on Udemy

Big Data – Processamento de dados com Spark e PySpark

Crie o seu servidor Apache Spark, processe grandes quantidades e faça um streaming em tempo real utilizando PySpark :)
Instructor:
Felipe Mafra
1,499 students enrolled
Definir o que é Big Data
Definir o que é o Ecossistema Hadoop
Aplicar Map Reduce
Instalar e configurar o Apache Spark em ambiente virtualizado
Entender e configurar variáveis de ambiente

Não se assuste mais com as tecnologias de Big Data! Aprenda o essêncial para processar grandes quantidades de dados em memória com o melhor Framework do mercado: O Apache Spark!

Iniciaremos do zero, explicando o que é Big Data e o que é necessário para que um dado seja categorizado como tal. Tudo de forma simples, com uma linguagem leve e agradável! 

Após nos situarmos entre as tecnologias explicadas, dentre elas, o Hadoop, criaremos um servidor Apache Spark em uma instalação Windows e então prosseguiremos o curso explicando todo o framework e analisando dados. Vale ressaltar que instalaremos o Spark no Windows para os usuários menos experientes. Caso você seja usuário Linux, não se preocupe: Os comandos são os mesmos!

Explicaremos detalhadamente o que são as variáveis de ambiente e como elas influenciam na instalação e configuração de programas, como por exemplo o Java e a sua máquina virtual, a JVM.

Aplicaremos Map Reduce e outras funções nativas do Spark, utilizaremos o Spark SQL, criaremos RDDs e os novos Dataframes! Tudo isso do zero, passo a passo, explicado com  que você já conhece!

Preocupado com os softwares? Você terá um drive com todos os programas e scripts do curso, exlusivo para o nosso material, além de, é claro, também ter os links oficiais, caso deseje baixar os programs direto do fabricante!

E aí? Curtiu a ementa?

Vem comigo aprender a processar Big Data!!

Princípios de Big Data

1
Introdução ao curso
2
O que é um cluster?
3
Introdução a Big Data
4
Aplicações de Big Data
5
A História do Hadoop
6
Infraestrutura - Crescimento Vertical e Horizontal
7
Funcionamento do HDFS
8
Hadoop Map Reduce
9
Entenda agora! Resumão do Capítulo

Infraestrutura - Montando um ambiente de Big Data

1
Resumo do Ambiente
2
Instalando o VirtualBox
3
Instalando o Windows 10
4
Habilitando e configurando os adicionais de convidados
5
Entendendo as variáveis de ambiente
6
Executando o programa pelo Path
7
Instalação e configuração do JDK e do JRE
8
Instalando o Anaconda e verificando as variáveis de ambiente

Configuração do Apache Spark no Windows 10

1
Descompactando e configurando o Spark
2
Configurando o Hive SQL
3
Executando o PySpark e entendendo o Spark Context

Princípios de Desenvolvimento em Spark

1
Funções Lambda
2
List Comprehensions
3
Utilizando a função Map
4
Utilizando Map com boleanos
5
Função Filter
6
Princípios de RDD
7
Aplicando a função Reduce

Arquitetura Spark

1
Spark x Hadoop Map Reduce

Utilizando o Apache Spark

1
Introdução a RDDs e contexto
2
Operações com RDDs
You can view and review the lecture materials indefinitely, like an on-demand channel.
Definitely! If you have an internet connection, courses on Udemy are available on any device at any time. If you don't have an internet connection, some instructors also let their students download course lectures. That's up to the instructor though, so make sure you get on their good side!
4.2
4.2 out of 5
277 Ratings

Detailed Rating

Stars 5
124
Stars 4
89
Stars 3
41
Stars 2
11
Stars 1
12
e51ff0980106832c8660dd49e0424130
30-Day Money-Back Guarantee

Includes

5 hours on-demand video
Full lifetime access
Access on mobile and TV
Certificate of Completion