CESI École de Formation des Managers

Ecosystème Hadoop

Pour qui ?

Informaticiens (techniciens, administrateurs systèmes et/ou réseaux, informaticiens d'études, etc.) ayant un bonne connaissance de Linux et d'un langage de programmation de type Java

Pré requis

Avoir des connaissances en Linux et des bases de programmation de type Java

Niveau d'entrée

BAC+1

BAC+2

BAC+3

BAC+4

BAC+5/6

Durée

2 jours (dont 2 jours en présentiel)

Enseignement

Formation continue
La formation est partagée entre temps présentiel et apports en distanciel. Les jours initialement prévus en présentiel peuvent également être assurés 100% à distance selon les dates et les campus.

Codes

WEB : INF239

Frais de formation

Ce module est une composante du programme du bloc de compétences racine.

Mettre en place une infrastructure permettant de travailler avec des Big Data

Présentation

- Formation pratique qui permet, à partir de nombreux exercices, de comprendre l'écosystème Hadoop : le stockage (HDFS), le traitement (MapReduce) et le fonctionnement des outils les plus fréquemment utilisés.

Atouts pédagogiques

Objectifs

Mettre en place une infrastructure logicielle Hadoop adapté à une problématique donnée

Programme de la formation

Ce module est capitalisable dans les blocs de compétences suivants :

Partie pédagogique

Hadoop

  • Enjeux de cet environnement (scalabilité horizontale et verticale)
  • Fonctionnement de la distribution du traitement
  • Différents types de nœuds (définition des concepts)
  • Installation et configuration de Hadoop sur une seule machine
  • Installation et configuration de Hadoop sur un cluster (SSH, fichier de configuration...)

Commandes Hadoop

  • Description et mise en application de commande en local et en distribuée : Lecture, écriture, lancement des exemples de calculs fournis, …
  • Comparaison du temps d'exécution entre un Job local et distribué

MapReduce

  • Description du Pattern MapReduce
  • WordCount : exemple d'un algorithme de comptage de mots
  • Présentation de l'API Java et son rôle

Autres logiciels de l'écosystème Hadoop

  • Rôle et principaux cas d'usage de par exmple :
  • - Hive
  • - Pig Flume
  • - Sqoop
  • - Impal

Travaux pratiques et mise en application

  • Implémentation de WordCount avec l'API Java
  • Implémentation de WordCount avec les autres logiciels de l'écosystème

L'évaluation

Diplôme

Modalités d'admission

Admission dans le cadre du bloc de compétences.
La décision d’admission est communiquée au candidat sous un mois par CESI.

Pour plus d’informations concernant l’admission, rendez-vous sur le site CESI École de Formation des Managers ou contactez le campus souhaité pour connaître les places disponibles.