Programa del Curso
Introducción
Descripción general de Spark Streaming Características y arquitectura
- Fuentes de datos admitidas
- API principales
Preparación del entorno
- Dependencias
- Spark y contexto de streaming
- Conexión con Kafka
Procesamiento de mensajes
- Análisis de mensajes entrantes como JSON
- Procesos ETL
- Inicio del contexto de streaming
Realización de una ventana Stream Processing
- Intervalo de deslizamiento
- Configuración de entrega de puntos de control
- Lanzamiento del entorno
Creación de prototipos del código de procesamiento
- Conexión con un tema de Kafka
- Recuperación de JSON de la fuente de datos mediante Paw
- Variaciones y procesamiento adicional
Transmisión del código
- Variables de control de trabajo
- Definición de valores para que coincidan
- Funciones y condiciones
Adquisición de salida de flujo
- Contadores
- Salida de Kafka (coincidente y no coincidente)
Solución de problemas
Resumen y conclusión
Requerimientos
- Experiencia con Python y Apache Kafka
- Familiaridad con las plataformas de procesamiento de flujos
Audiencia
- Ingenieros de datos
- Científicos de datos
- Programadores
Testimonios (4)
El hecho de tener ejercicios más prácticos utilizando datos más similares a los que utilizamos en nuestros proyectos (imágenes de satélite en formato raster)
Matthieu - CS Group
Curso - Scaling Data Analysis with Python and Dask
Traducción Automática
Very good preparation and expertise of a trainer, perfect communication in English. The course was practical (exercises + sharing examples of use cases)
Monika - Procter & Gamble Polska Sp. z o.o.
Curso - Developing APIs with Python and FastAPI
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Curso - Build REST APIs with Python and Flask
Trainer develops training based on participant's pace