Python y Spark para Big Data (PySpark)

Introducción

Comprensión de Big Data

Visión general de Spark

Visión general de Python

Visión general de PySpark

• Distribución de datos utilizando el marco de trabajo de Conjuntos Distribuidos Resilientes (RDD)
• Distribución de computación mediante operadores de la API de Spark

Configuración de Python con Spark

Configuración de PySpark

Uso de instancias Amazon Web Services (AWS) EC2 para Spark

Configuración de Databricks

Configuración del clúster AWS EMR

Aprendizaje de los fundamentos de la programación en Python

• Primeros pasos con Python
• Uso de Jupyter Notebook
• Uso de variables y tipos de datos simples
• Trabajo con listas
• Uso de sentencias if
• Uso de entradas de usuario
• Trabajo con bucles while
• Implementación de funciones
• Trabajo con clases
• Trabajo con archivos y excepciones
• Trabajo con proyectos, datos y APIs

Aprendizaje de los fundamentos de Spark DataFrame

• Primeros pasos con Spark DataFrames
• Implementación de operaciones básicas con Spark
• Uso de operaciones Groupby y agregaciones
• Trabajo con marcas de tiempo y fechas

Realización de un ejercicio práctico de proyecto de Spark DataFrame

Comprensión del aprendizaje automático con MLlib

Trabajo con MLlib, Spark y Python para el aprendizaje automático

Comprensión de las regresiones

• Estudio de la teoría de la regresión lineal
• Implementación de un código de evaluación de regresión
• Realización de un ejercicio de ejemplo de regresión lineal
• Estudio de la teoría de la regresión logística
• Implementación de un código de regresión logística
• Realización de un ejercicio de ejemplo de regresión logística

Comprensión de los bosques aleatorios y los árboles de decisión

• Estudio de la teoría de los métodos de árbol
• Implementación de códigos de árboles de decisión y bosques aleatorios
• Realización de un ejercicio de ejemplo de clasificación con bosques aleatorios

Trabajo con agrupamiento K-means

• Comprensión de la teoría del agrupamiento K-means
• Implementación de un código de agrupamiento K-means
• Realización de un ejercicio de ejemplo de agrupamiento

Trabajo con sistemas recomendadores

Implementación del procesamiento de lenguaje natural

• Comprensión del Procesamiento de Lenguaje Natural (NLP)
• Visión general de las herramientas de NLP
• Realización de un ejercicio de ejemplo de NLP

Streamining con Spark en Python

• Visión general del Streamining con Spark
• Ejercicio de ejemplo de Spark Streaming