Código del Curso

ApHadm1

Duración

21 horas (por lo general 3 días incluidas las pausas)

Requerimientos

Los asistentes no están obligados a tener ninguna habilidad específica ya que la capacitación se centra en las habilidades de los usuarios finales tanto para la administración como para la manipulación de datos bajo Apache Hadoop.

Descripción General

Este curso está dirigido a desarrolladores, arquitectos, científicos de datos o cualquier perfil que requiera acceso a los datos de forma intensiva o regular.

El enfoque principal del curso es la manipulación y transformación de datos.

Entre las herramientas del ecosistema de Hadoop, este curso incluye el uso de Pig y Hive, que se utilizan mucho para la transformación y manipulación de datos.

Esta capacitación también aborda las métricas de rendimiento y la optimización del rendimiento.

El curso es completamente práctico y está marcado por presentaciones de los aspectos teóricos.

Programa del Curso

1.1 Conceptos de Hadoop

1.1.1HDFS

El diseño de HDFS
Interfaz de línea de comando
Sistema de archivos Hadoop

1.1.2 Clusters

Anatomía de un grupo
Nodo maestro / Nodo esclavo
Nombre Nodo / Nodo de datos

1.2 Manipulación de datos

1.2.1MapReduce detallado

Fase del mapa
Reducir fase
Barajar

1.2.2 Analítica con reducción de mapa

Group-By con MapReduce
Distribuciones de frecuencia y clasificación con MapReduce
Trazado de resultados (GNU Plot)
Histogramas con MapReduce
Diagramas de dispersión con MapReduce
Análisis de conjuntos de datos complejos
Contando con MapReduce y Combiners
Generar informes

1.2.3 Limpieza de datos

Limpieza de documentos
Búsqueda de cadenas borrosas
Registrar deduplicación de enlace / datos
Transformar y ordenar fechas de eventos
Validar la fiabilidad de la fuente
Recortar valores atípicos

1.2.4Extracción y transformación de datos

Transformando troncos
Usando Apache Pig para filtrar
Usando Apache Pig para ordenar
Usando Apache Pig para sesionar

1.2.5 Uniones avanzadas

Unir datos en Mapper usando MapReduce
Unir datos usando Apache Pig replicar join
Unir datos ordenados utilizando Apache Pig merge join
Unir datos asimétricos utilizando Apache Pig skewed join
Usando una unión del lado del mapa en Apache Hive
Usando uniones exteriores completas optimizadas en Apache Hive
Unir datos usando un almacén de valores de clave externa

1.3 Diagnóstico de rendimiento y técnicas de optimización

Mapa
- Investigando picos en los datos de entrada
- Identificación de problemas de sesgo de datos del lado del mapa
- Asignar rendimiento de la tarea
- Archivos pequeños
- Archivos no divisibles
Reducir
- Muy pocos o muchos reductores
- Reducir los problemas de sesgo de datos del lado
- Reducir el rendimiento de las tareas
- Mezcla lenta y clasificación
Trabajos en competencia y estrangulamiento del programador
Volcados de pila y código no optimizado
Fallas de hardware
Contención de CPU
Tareas
- Extrayendo y visualizando tiempos de ejecución de tareas
- Perfilando su mapa y reduciendo tareas
Evita el reductor
Filtro y proyecto
Usando el combinador
Clasificación rápida con comparadores
Recolectando datos sesgados
Reducir la mitigación oblicua

Testimonios

★★★★★

¿Qué es lo que más te gustó del entrenamiento ?: Detallado sobre cada herramienta.

Amber Mehrotra - NIIT Limited

Curso:Administración de Hadoop

Machine Translated

El hecho de que todos los datos y el software estaban listos para usar en una máquina virtual ya preparada, proporcionada por el capacitador en discos externos.

vyzVoice

Curso:Hadoop para Desarrolladores y Administradores

Machine Translated

En general, me gustó que el entrenador diera ejemplos en vivo.

Simon Hahn