Temario del curso

1: HDFS (17%)

  • Describir la función de Daemons HDFS
  • Describir el funcionamiento normal de un clúster Apache Hadoop, tanto en el almacenamiento de datos como en el procesamiento de datos.
  • Identificar las características actuales de los sistemas informáticos que motivan un sistema como Apache Hadoop.
  • Clasifique los objetivos principales del diseño de HDFS
  • Dado un escenario, identifique el caso de uso apropiado para la Federación HDFS
  • Identificar los componentes y el daemon de un clúster HDFS HA-Quorum
  • Analizar el papel de la seguridad HDFS (Kerberos)
  • Determinar la mejor opción de serialización de datos para un escenario dado
  • Describir rutas de lectura y escritura de archivos
  • Identificar los comandos para manipular archivos en el Shell del sistema de archivos Hadoop

2: YARN y MapReduce versión 2 (MRv2) (17%)

  • Comprender cómo la actualización de un clúster de Hadoop 1 a Hadoop 2 afecta a la configuración del clúster
  • Entender cómo implementar MapReduce v2 (MRv2 / YARN), incluyendo todos los daemons YARN
  • Entender la estrategia básica de diseño de MapReduce v2 (MRv2)
  • Determinar cómo YARN gestiona las asignaciones de recursos
  • Identificar el flujo de trabajo de MapReduce que se ejecuta en YARN
  • Determine qué archivos debe cambiar y cómo migrar un clúster de MapReduce versión 1 (MRv1) a MapReduce versión 2 (MRv2) que se ejecuta en YARN.

3: Hadoop Cluster Planning (16%)

  • Principales puntos a considerar al elegir el hardware y los sistemas operativos para alojar un clúster Apache Hadoop.
  • Analizar las opciones al seleccionar un sistema operativo
  • Comprender la afinación del núcleo y el intercambio de discos
  • Dado un escenario y un patrón de carga de trabajo, identifique una configuración de hardware adecuada al escenario
  • Dado un escenario, determine los componentes del ecosistema que su clúster necesita ejecutar para cumplir con el SLA
  • Dimensionamiento del clúster: dado el escenario y la frecuencia de ejecución, identifique los detalles de la carga de trabajo, incluyendo CPU, memoria, almacenamiento, E / S de disco
  • Tamaño y configuración del disco, incluidos JBOD frente a RAID, SAN, virtualización y requisitos de tamaño de disco en un clúster
  • Topologías de red: comprender el uso de la red en Hadoop (para HDFS y MapReduce) y proponer o identificar componentes clave de diseño de red para un escenario dado

4: Instalación y administración de clústeres Hadoop (25%)

  • Dado un escenario, identifique cómo el clúster manejará fallas de disco y máquina
  • Analizar una configuración de registro y registrar el formato de archivo de configuración
  • Comprender los conceptos básicos de las métricas de Hadoop y el monitoreo de la salud de los clústeres
  • Identificar la función y el propósito de las herramientas disponibles para el monitoreo de clusters
  • Ser capaz de instalar todos los componentes del ecosistema en CDH 5, incluyendo (pero no limitado a): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive y Pig
  • Identificar la función y el propósito de las herramientas disponibles para administrar el sistema de archivos Apache Hadoop

5: Gestión de recursos (10%)

  • Entender los objetivos generales de diseño de cada uno de los planificadores de Hadoop
  • Dado un escenario, determine cómo el Planificador FIFO asigna recursos de clúster
  • Dado un escenario, determine cómo el planificador justo asigna los recursos del clúster bajo YARN
  • Dado un escenario, determine cómo el Programador de capacidad asigna recursos de clúster

6: Monitoreo y registro (15%)

  • Comprender las funciones y características de las capacidades de recopilación de métricas de Hadoop
  • Analizar las interfaces de usuario de Web de NameNode y JobTracker
  • Entender cómo supervisar demonios de clúster
  • Identificar y supervisar el uso de la CPU en los nodos maestros
  • Describir cómo supervisar la asignación de intercambio y memoria en todos los nodos
  • Identificar cómo ver y administrar los archivos de registro de Hadoop
  • Interpretar un archivo de registro

Requerimientos

  • Habilidades básicas de administración de Linux
  • Habilidades básicas de programación
 35 Horas

Testimonios (3)

Próximos cursos

Categorías Relacionadas