Procesamiento de datos eficiente en Kubernetes con PySpark, Pandas y Polars

Módulo 1: Fundamentos de Big Data y Spark

• Vista general del ecosistema de Big Data y el papel de Spark en las plataformas de datos modernas
• Comprensión de la arquitectura de Spark: driver, executors, administrador del clúster, evaluación diferida, DAG y planificación de ejecución
• Diferencias entre las APIs de RDD y DataFrame y cuándo utilizar cada enfoque
• Creación y configuración de SparkSession y fundamentos de la configuración de la aplicación

Módulo 2: DataFrames de PySpark

• Lectura y escritura de datos desde fuentes y formatos empresariales: CSV, JSON, Parquet y Delta
• Trabajo con DataFrames de PySpark: transformaciones, acciones, expresiones de columnas, filtrado, uniones y agregaciones
• Implementación de operaciones avanzadas como funciones de ventana, manejo de marcas de tiempo y trabajo con datos anidados
• Aplicación de controles de calidad de datos y escritura de código PySpark reutilizable y mantenible

Módulo 3: Fundamentos de Kubernetes y Docker para usuarios de Spark

• Comprensión de cómo las imágenes de Docker y los pods de Kubernetes se relacionan con los procesos de driver y executor de Spark: una vista conceptual para consumidores del clúster, no para administradores
• Entender qué ocurre cuando una tarea de Spark se ejecuta en Kubernetes: programación de pods, solicitudes y límites de recursos, y cómo los ajustes de sesión se mapean en ellos
• Comprender qué controlas mediante los parámetros de sesión de Spark frente a lo que el equipo de plataforma controla mediante la aprovisionamiento del clúster, y por qué este límite es importante para la sintonización
• Ejercicio práctico: Inspeccionar una tarea de Spark-on-Kubernetes en ejecución en el clúster de arena y identificar los pods de driver y executor

Módulo 4: Configuración de Sesión de Spark en Kubernetes: Análisis detallado

• Comprensión del recuento de executors frente al tamaño de los executors: compensaciones entre memoria y núcleos y cómo razonar sobre ellas
• Asignación de memoria para driver y executors, sobrecarga de memoria y cómo estas se traducen en recursos de pod
• Asignación dinámica: cómo se comporta en Kubernetes, cuándo ahorra recursos y cuándo no lo hace
• Ejercicio práctico: Ejecutar la misma tarea con diferentes configuraciones de executors y núcleos y comparar el tiempo de ejecución y el uso de recursos

Módulo 5: Comportamiento de Escalado y Optimización de Costos

• Comprensión de cómo agregar o eliminar nodos cambia el comportamiento de la tarea, el tiempo de finalización y el consumo de recursos
• Comparación de muchos executors pequeños frente a algunos grandes: compensaciones entre rendimiento y costo
• Comportamiento del shuffle y ajuste de particiones de shuffle, incluido el cálculo del impacto en el costo de las opciones de configuración
• Ejercicio práctico: Escalar el clúster de arena de cinco a diez nodos y observar el efecto en el tiempo de finalización de la tarea y el consumo de recursos

Módulo 6: Ingesta de Datos Eficiente y Particionamiento

• Comprensión del problema de los archivos pequeños: por qué las fuentes divididas en muchos archivos Parquet de 1–5 MB degradan el rendimiento y distorsionan el particionamiento
• Estrategias de reparticionado y coalescencia
• Control de los tamaños de partición en la lectura y en la escritura
• Escritura eficiente de Parquet para evitar recrear el problema de archivos pequeños aguas abajo
• Ejercicio práctico: Cargar un conjunto de datos compuesto por muchas particiones Parquet pequeñas, aplicar diferentes estrategias de reparticionado y comparar el rendimiento antes y después de la optimización

Módulo 7: Gestión de Memoria en Pandas y Diagnóstico de Fallos

• Comprensión de las causas raíz de los errores de insuficiencia de memoria en Pandas y reconocimiento de los síntomas
• Aplicación de patrones de conversión eficientes en memoria entre Spark y Pandas
• Evitar explosiones de memoria al escribir grandes conjuntos de datos en CSV
• Uso de procesamiento por lotes (chunking) y optimización de dtype para entornos restringidos
• Ejercicio práctico: Reproducir un escenario típico de insuficiencia de memoria en Pandas y resolverlo utilizando chunking y optimización de dtype

Módulo 8: Polars como Herramienta Complementaria

• Posicionamiento de Polars en relación con Pandas: características de rendimiento, evaluación diferida y comportamiento de la memoria
• Comprensión de dónde encaja Polars junto a PySpark y Pandas en los stacks de datos cloud modernos y los mapas de ruta de migración, incluidos los entornos de AWS
• Ejercicio práctico: Reescribir una transformación intensiva en Pandas en Polars y comparar el uso de memoria y la velocidad de procesamiento

Módulo 9: Aplicación de la Optimización a Cargas de Trabajo ETL y ML

• Aplicación de principios de configuración, particionamiento y gestión de memoria en un pipeline ETL realista
• Comprensión de las consideraciones de optimización específicas para cargas de trabajo de aprendizaje automático que se ejecutan en el mismo clúster
• Aplicación de un flujo de trabajo práctico de sintonización para diagnosticar sistemáticamente problemas de costo y rendimiento
• Ejercicio práctico: Completar un mini proyecto integral que combine carga de datos, transformación y un paso simple de entrenamiento de modelo, donde los participantes ajusten ellos mismos la configuración de Spark