Spring Boot Haddoop

Spring Boot Haddoop

Projet permettant de tester un cluster Hadoop.

  • Apache Haddoop
  • Apache Hive
  • Apache Spark
  • PostgreSQL

    • Apache Hadoop

    Apache Hadoop

    Lire Fichier

    Créer Fichier

    Creer Dossier

    Supprimer Fichier

    Node Name

    Pour ajouter des Fichiers sur le cluster:


    Copier le fichier dans le pod:
    >> kubectl cp fichier/people.csv hadoop-hadoop-hdfs-nn-0:/ -n data
    Monter le fichier dans le cluster:
    >> hdfs dfs -put people.csv /user/
    Vérifier la présence du fichier:
    >> hdfs dfs -ls /data/

    Apache Spark

    Learning Machine

    jupyter

    Apache Hive

    Procédure de création d'un table Hive

    github

    Swagger

    Swagger API définition


    Swagger