Inteligencia de Negocios de Big Data para Agencias del Gobierno

Cada sesión dura 2 horas

Día 1: Sesión 1: Visión general de negocio sobre por qué la Business Intelligence de Big Data en el Gobierno

• Estudios de caso del NIH y el Departamento de Energía (DoE)
• Tasa de adaptación del Big Data en agencias gubernamentales y cómo están alineando sus operaciones futuras en torno al Análisis Predictivo de Big Data
• Áreas de aplicación a gran escala en el Departamento de Defensa (DoD), NSA, IRS, USDA, etc.
• Interfaz de Big Data con datos heredados (legacy)
• Comprensión básica de las tecnologías habilitadoras en análisis predictivo
• Integración de datos y visualización de tableros (dashboards)
• Gestión de fraudes
• Generación de reglas de negocio / detección de fraudes
• Detección y perfilado de amenazas
• Análisis de costo-beneficio para la implementación de Big Data

Día 1: Sesión 2: Introducción a Big Data-1

• Principales características de Big Data: volumen, variedad, velocidad y veracidad. Arquitectura MPP para el volumen.
• Almacenes de datos – esquema estático, conjunto de datos que evoluciona lentamente
• Bases de datos MPP como Greenplum, Exadata, Teradata, Netezza, Vertica, etc.
• Soluciones basadas en Hadoop – sin condiciones sobre la estructura del conjunto de datos.
• Patrón típico: HDFS, MapReduce (crunch), recuperación desde HDFS
• Por lotes (Batch): apto para análisis no interactivo
• Volumen: datos en flujo continuo (streaming) CEP
• Elecciones típicas – productos CEP (p. ej., Infostreams, Apama, MarkLogic, etc.)
• Menos listo para producción – Storm/S4
• Bases de datos NoSQL – (columnares y clave-valor): Más adecuadas como complemento analítico del almacén de datos / base de datos

Día 1: Sesión 3: Introducción a Big Data-2

Soluciones NoSQL

• Almacén de Clave-Valor (KV) - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• Almacén de Clave-Valor (KV) - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• Almacén de Clave-Valor (KV) (Jerárquico) - GT.m, Cache
• Almacén de Clave-Valor (KV) (Ordenado) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• Caché KV - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Almacén de Tuplas - Gigaspaces, Coord, Apache River
• Base de datos de objetos - ZopeDB, DB40, Shoal
• Almacén de Documentos - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Almacén de Columnas Anchas - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Variedades de Datos: Introducción a los problemas de limpieza de datos en Big Data

• RDBMS – estructura/esquema estático, no fomenta un entorno ágil y exploratorio.
• NoSQL – semi estructurado, suficiente estructura para almacenar datos sin un esquema exacto antes de almacenar los datos
• Problemas de limpieza de datos

Día 1: Sesión 4: Introducción a Big Data-3: Hadoop

• ¿Cuándo seleccionar Hadoop?
• DATOS ESTRUCTURADOS - Los almacenes/bases de datos empresariales pueden almacenar grandes cantidades de datos (a un costo) pero imponen estructura (no es bueno para la exploración activa)
• DATOS SEMI ESTRUCTURADOS – difíciles de manejar con soluciones tradicionales (DW/DB)
• Almacenar datos = gran esfuerzo y estático incluso después de la implementación
• Para variedad y volumen de datos, procesados en hardware de consumo – HADOOP
• Se necesita hardware de consumo para crear un Clúster Hadoop

Introducción a Map Reduce /HDFS

• MapReduce – distribuir la computación en varios servidores
• HDFS – hacer los datos disponibles localmente para el proceso de cómputo (con redundancia)
• Datos – pueden ser no estructurados/sin esquema (a diferencia de RDBMS)
• Responsabilidad del desarrollador de dar sentido a los datos
• Programación MapReduce = trabajar con Java (pros/contras), carga manual de datos en HDFS

Día 2: Sesión 1: Ecosistema de Big Data - Construyendo ETL de Big Data: universo de Herramientas de Big Data, ¿cuál usar y cuándo?

• Hadoop vs. Otras soluciones NoSQL
• Para acceso aleatorio interactivo a datos
• Hbase (base de datos orientada a columnas) sobre Hadoop
• Acceso aleatorio a datos pero con restricciones impuestas (máx. 1 PB)
• No apto para análisis ad-hoc, bueno para registro, conteo, series temporales
• Sqoop - Importar desde bases de datos a Hive o HDFS (acceso JDBC/ODBC)
• Flume – Datos en flujo (p. ej., datos de registro) hacia HDFS

Día 2: Sesión 2: Sistema de Gestión de Big Data

• Movimiento de componentes, inicio/fallo de nodos de cómputo: ZooKeeper - Para servicios de configuración/coordinación/nombrado
• Tuberías complejas/flujo de trabajo: Oozie – gestionar flujo de trabajo, dependencias, encadenado
• Desplegar, configurar, gestión de clústeres, actualización, etc. (admin de sistemas): Ambari
• En la Nube: Whirr

Día 2: Sesión 3: Análisis predictivo en Business Intelligence -1: Técnicas fundamentales y BI basado en aprendizaje automático:

• Introducción al Aprendizaje Automático (Machine Learning)
• Técnicas de clasificación de aprendizaje
• Predicción Bayesiana-preparar archivo de entrenamiento
• Máquina de Vectores de Soporte (SVM)
• Algebra p-Tree KNN y minería vertical
• Redes Neuronales
• Problema de variables grandes en Big Data - Bosque Aleatorio (Random Forest - RF)
• Problema de automatización en Big Data – Ensamble multi-modelo RF
• Automatización a través de Soft10-M
• Herramienta de análisis de texto-Treeminer
• Aprendizaje ágil
• Aprendizaje basado en agentes
• Aprendizaje distribuido
• Introducción a Herramientas de Código Abierto para análisis predictivo: R, Rapidminer, Mahut

Día 2: Sesión 4 Ecosistema de análisis predictivo-2: Problemas comunes de análisis predictivo en el Gobierno.

• Análisis de perspectivas (Insight analytic)
• Análisis de visualización
• Análisis predictivo estructurado
• Análisis predictivo no estructurado
• Perfilado de amenazas/fraudes/proveedores
• Motor de recomendaciones
• Detección de patrones
• Descubrimiento de reglas/escenarios –fallas, fraude, optimización
• Descubrimiento de causa raíz
• Análisis de sentimiento
• Análisis CRM
• Análisis de red
• Análisis de texto
• Revisión asistida por tecnología
• Análisis de fraude
• Análisis en tiempo real

Día 3: Sesión 1: Análisis en Tiempo Real y Escalable sobre Hadoop

• Por qué los algoritmos de análisis comunes fallan en Hadoop/HDFS
• Apache Hama- para computación distribuida Síncrona por lotes
• Apache SPARK- para computación en clúster para análisis en tiempo real
• CMU Graphics Lab2- Enfoque asíncrono basado en grafos para la computación distribuida
• Enfoque basado en Algebra p KNN de Treeminer para reducir el costo de hardware de operación

Día 3: Sesión 2: Herramientas para eDiscovery y Forense

• eDiscovery sobre Big Data vs. datos heredados (legacy) – una comparación de costo y rendimiento
• Codificación predictiva y revisión asistida por tecnología (TAR)
• Demostración en vivo de un producto Tar (vMiner) para entender cómo funciona TAR para un descubrimiento más rápido
• Indexación más rápida a través de HDFS –velocidad de datos
• NLP o Procesamiento de Lenguaje Natural –varias técnicas y productos de código abierto
• eDiscovery en idiomas extranjeros-tecnología para el procesamiento de idiomas extranjeros

Día 3: Sesión 3: BI de Big Data para la Ciberseguridad – Entendiendo la vista completa de 360 grados desde la recopilación rápida de datos hasta la identificación de amenazas

• Entendiendo lo básico de los análisis de seguridad-superficie de ataque, mala configuración de seguridad, defensas del host
• Infraestructura de red/ Gran tubería de datos / ETL de respuesta para análisis en tiempo real
• Prescriptivo vs predictivo – Basado en reglas fijas vs auto-descubrimiento de reglas de amenaza desde Metadatos

Día 3: Sesión 4: Big Data en USDA : Aplicación en Agricultura

• Introducción al IoT ( Internet de las Cosas) para agricultura- Big Data basado en sensores y control
• Introducción a la imagen satelital y su aplicación en la agricultura
• Integración de datos de sensores y de imágenes para la fertilidad del suelo, recomendación de cultivos y pronósticos
• Seguro agrícola y Big Data
• Pronóstico de pérdidas de cosechas

Día 4: Sesión 1: BI de prevención de fraude desde Big Data en el Gobierno- Análisis de fraude:

• Clasificación básica de análisis de fraudes- basado en reglas vs análisis predictivo
• Aprendizaje automático supervisado vs no supervisado para la detección de patrones de fraude
• Fraude de proveedores/cobro excesivo por proyectos
• Fraude en Medicare y Medicaid- técnicas de detección de fraude para el procesamiento de reclamaciones
• Fraudes en reembolsos de viaje
• Fraudes en reembolsos del IRS
• Se proporcionarán estudios de caso y demostraciones en vivo donde haya datos disponibles.

Día 4: Sesión 2: Análisis de Redes Sociales - Recopilación e inteligencia y análisis

• API ETL de Big Data para extraer datos de redes sociales
• Texto, imagen, metadatos y video
• Análisis de sentimiento desde el flujo de redes sociales
• Filtrado contextual y no contextual del flujo de redes sociales
• Tablero (Dashboard) de Redes Sociales para integrar diversas redes sociales
• Perfilado automatizado de perfiles de redes sociales
• Se proporcionará una demostración en vivo de cada análisis a través de la Herramienta Treeminer.

Día 4: Sesión 3: Análisis de Big Data en el procesamiento de imágenes y flujos de video

• Técnicas de almacenamiento de imágenes en Big Data- Solución de almacenamiento para datos que exceden los petabytes
• LTFS y LTO
• GPFS-LTFS ( Solución de almacenamiento por capas para Big Data de imágenes)
• Fundamentos de análisis de imágenes
• Reconocimiento de objetos
• Segmentación de imágenes
• Rastreo de movimiento
• Reconstrucción de imágenes 3-D

Día 4: Sesión 4: Aplicaciones de Big Data en NIH:

• Áreas emergentes de Bioinformática
• Meta-genómica y problemas de minería de Big Data
• Análisis predictivo de Big Data para Farmacogenómica, Metabolómica y Proteómica
• Big Data en el proceso Genómico aguas abajo
• Aplicación de análisis predictivo de Big Data en Salud Pública

Tablero (Dashboard) de Big Data para accesibilidad rápida de datos diversos y visualización:

• Integración de la plataforma de aplicaciones existente con el Tablero de Big Data
• Gestión de Big Data
• Estudio de caso de Tablero de Big Data: Tableau y Pentaho
• Usar app de Big Data para impulsar servicios basados en ubicación en el Gobierno.
• Sistema de seguimiento y gestión

Día 5: Sesión 1: Cómo justificar la implementación de BI de Big Data dentro de una organización:

• Definir ROI para la implementación de Big Data
• Estudios de caso de ahorro de Tiempo de Analista para la recopilación y preparación de Datos –aumento en la ganancia de productividad
• Estudios de caso de ganancia de ingresos por ahorro en costos de bases de datos licenciadas
• Ganancia de ingresos de servicios basados en ubicación
• Ahorro por prevención de fraude
• Un enfoque de hoja de cálculo integrado para calcular el gasto aproximado vs. ganancia de ingresos/ahorro de la implementación de Big Data.

Día 5: Sesión 2: Procedimiento paso a paso para reemplazar el sistema de datos heredado (legacy) por un Sistema de Big Data:

• Entendiendo el Mapa de Ruta práctico de Migración de Big Data
• ¿Qué información importante se necesita antes de diseñar una implementación de Big Data?
• ¿Cuáles son las diferentes formas de calcular volumen, velocidad, variedad y veracidad de los datos?
• Cómo estimar el crecimiento de los datos
• Estudios de caso

Día 5: Sesión 4: Revisión de Proveedores de Big Data y revisión de sus productos. Sesión de P/D:

• Accenture
• APTEAN (Anteriormente CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (Anteriormente 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• Treeminer
• VMware (Parte de EMC)