Spark avec Scala - Pratique avec le Big Data pour Débutants

Avec 70% de pratique et seulement avec votre localhost ! Apache Spark ne sera plus un secret pour vous !

Ce que vous apprendrez

Préparer un environnement de travail en créant une machine virtuelle avec les installations et les configurations.
Apprendre le langage de programmation Scala.
Se familiariser et comprendre le fonctionnement des RDDs avec des cas pratiques sous Spark Shell.
Découvrir les fonctions de transformation, d’action et comprendre le DAG.
Vous allez utiliser le Spark SQL avec les Dataframes en partant des entrées et produire des sorties dans chacun des formats Json, Parquet et csv.
Toujours avec les Dataframes vous allez apprendre à connecter Apache Spark avec une Base données postgreSQL que vous allez mettre en place avec une vidéo bien détaillée (aucun prérequis n'est nécessaire).
Créer les User-Defined Functions appelée aussi les fonctions UDF et des DataSets avec Spark Shell.
Effectuer des traitements avec le composant Spark Streaming afin de traiter des données en temps réel que vous allez générer vous-même.

Prérequis

Connaissances des commandes Linux
Notion en programmation orienté objet
Notion en langage SQL

Description

Sans aucun doute Apache Spark est le framework open source qui a montré sa réussite auprès de plusieurs géant de l’informatique et de l’industrie. Apache Spark nous permet d’analyser et traiter des données massives structurées, semi structurées et non structurées.

Apache Spark fonctionne avec de la programmation distribuée et en mémoire (in-memory) afin d’accélérer les traitements et en s’appuyant sur plusieurs machines d’un réseau ( Cluster ).

Dans cette formation vous aurez besoin uniquement d’un PC connecté à internet. Vous allez apprendre à mettre en place un environnement local avec une machine Virtuelle Linux (VM), télécharger Spark, télécharger Scala et la configuration de Spark en utilisant Scala.

Vous allez vous familiariser avec les principes fondamentaux de Spark en utilisant le langage Scala. Apache Spark est écrit en Scala. Il fonctionne en Java virtuel machines (JVM). Vous aurez une mise à niveau en douceur avec le langage de programmation Scala avec une initiation à la programmation fonctionnelle.

Manipuler un RDD (le cœur moteur de Apache Spark) avec des collections de données sera un jeux d’enfant.

Vous allez découvrir dans la partie Spark SQL les DataFrame à partir :

d’une collection de données,

des fichiers en entrée tel que csv, Json, Parquet

de base de données PostgreSQL

Surement vous avez entendu parler des traitements des données qui arrivent en temps réel, sous le nom Streaming. Une Partie de cette formation bien détaillée vous attend afin que vous puissiez monter en compétence rapidement avec Spark Streaming avec des cas pratiques.
À qui ce cours s'adresse-t-il ?

Ingénieur d’études et développement
Data Scientists
Data analysts (ou data miner)
Chef de projet technique
Architecte technique
Statisticiens
Consultants Big Data