{"id":1391,"date":"2015-02-06T03:32:57","date_gmt":"2015-02-06T03:32:57","guid":{"rendered":"https:\/\/dev.railscarma.com\/components-hadoop\/"},"modified":"2024-01-10T10:00:21","modified_gmt":"2024-01-10T10:00:21","slug":"composants-hadoop","status":"publish","type":"post","link":"https:\/\/www.railscarma.com\/fr\/blog\/articles-techniques\/composants-hadoop\/","title":{"rendered":"Composants de Hadoop"},"content":{"rendered":"
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n

L'article pr\u00e9c\u00e9dent<\/a><\/strong> vous a donn\u00e9 un aper\u00e7u de Hadoop et des deux composants de Hadoop qui sont HDFS et le framework Mapreduce. Cet article va maintenant vous donner une br\u00e8ve explication sur l'architecture HDFS et son fonctionnement.<\/p>\n\n

HDFS\u00a0:<\/b><\/p>\n\n

Le syst\u00e8me de fichiers distribu\u00e9s Hadoop (HDFS) est un stockage en cluster \u00e0 large bande passante auto-r\u00e9parateur. HDFS a une architecture ma\u00eetre\/esclave. Un cluster HDFS est constitu\u00e9 d'un seul NameNode, un serveur ma\u00eetre qui g\u00e8re l'espace de noms du syst\u00e8me de fichiers et r\u00e9gule l'acc\u00e8s aux fichiers par les clients. De plus, il existe un certain nombre de n\u0153uds de donn\u00e9es, g\u00e9n\u00e9ralement un par n\u0153ud dans le cluster, qui g\u00e8rent le stockage attach\u00e9 aux n\u0153uds sur lesquels ils s'ex\u00e9cutent.<\/p>\n\n

HDFS expose un espace de noms de syst\u00e8me de fichiers et permet de stocker les donn\u00e9es utilisateur dans des fichiers. En interne, un fichier est divis\u00e9 en un ou plusieurs blocs et ces blocs sont stock\u00e9s dans un ensemble de DataNodes. Le NameNode ex\u00e9cute des op\u00e9rations d'espace de noms du syst\u00e8me de fichiers telles que l'ouverture, la fermeture et le renommage de fichiers et de r\u00e9pertoires.<\/p>\n\n

Il d\u00e9termine \u00e9galement le mappage des blocs vers DataNOdes. Les DataNodes sont charg\u00e9s de r\u00e9pondre aux demandes de lecture et d'\u00e9criture des clients du syst\u00e8me de fichiers. Les DataNodes effectuent \u00e9galement la cr\u00e9ation, la suppression et la r\u00e9plication de blocs sur instruction du NameNode.<\/p>\n\n

\n
<\/a><\/figure>\n<\/div>\n\n

Le croquis ci-dessus repr\u00e9sente l'architecture du HDFS.<\/strong><\/p>\n\n

MapR\u00e9duire\u00a0:<\/b><\/p>\n\n

L'autre concept et composant de Hadoop est Mapreduce. Mapreduce est une gestion et une planification distribu\u00e9es des ressources tol\u00e9rantes aux pannes, coupl\u00e9es \u00e0 une abstraction de programmation de donn\u00e9es \u00e9volutive.<\/p>\n\n

Il s'agit d'un cadre de traitement de donn\u00e9es parall\u00e8le. Le framework Mapreduce est utilis\u00e9 pour extraire les donn\u00e9es des diff\u00e9rents fichiers et n\u0153uds de donn\u00e9es disponibles dans un syst\u00e8me. La premi\u00e8re partie est que les donn\u00e9es doivent \u00eatre pouss\u00e9es sur les diff\u00e9rents serveurs o\u00f9 les fichiers seraient r\u00e9pliqu\u00e9s, en bref, il s'agit de stocker les donn\u00e9es. donn\u00e9es.<\/p>\n\n

La deuxi\u00e8me \u00e9tape, une fois les donn\u00e9es stock\u00e9es, le code doit \u00eatre pouss\u00e9 sur le cluster Hadoop vers le n\u0153ud de nom qui serait distribu\u00e9 sur diff\u00e9rents n\u0153uds de donn\u00e9es qui deviendraient les n\u0153uds de calcul, puis l'utilisateur final recevrait le r\u00e9sultat final.<\/p>\n\n

Mapreduce dans Hadoop n'est pas seulement la seule fonction en cours, diff\u00e9rentes t\u00e2ches sont impliqu\u00e9es comme le lecteur d'enregistrement, la carte, le combinateur, le partitionneur, la lecture al\u00e9atoire, le tri et la r\u00e9duction des donn\u00e9es et enfin donne le r\u00e9sultat. Il divise l'ensemble de donn\u00e9es d'entr\u00e9e en morceaux ind\u00e9pendants qui sont trait\u00e9s par les t\u00e2ches cartographiques de mani\u00e8re compl\u00e8tement parall\u00e8le.<\/p>\n\n

Le framework trie les sorties des cartes, qui sont ensuite pouss\u00e9es comme entr\u00e9e dans les t\u00e2ches r\u00e9duites. G\u00e9n\u00e9ralement, l'entr\u00e9e et la sortie du travail sont stock\u00e9es dans un syst\u00e8me de fichiers. Le framework s'occupe \u00e9galement de la planification, en les surveillant et en r\u00e9ex\u00e9cutant les t\u00e2ches ayant \u00e9chou\u00e9.<\/p>\n\n

Paire cl\u00e9-valeur Mapreduce\u00a0:<\/b><\/p>\n\n

Les mappeurs et les r\u00e9ducteurs utilisent toujours des paires cl\u00e9-valeur comme entr\u00e9e et sortie. Un r\u00e9ducteur r\u00e9duit les valeurs par cl\u00e9 uniquement. Un mappeur ou un r\u00e9ducteur peut \u00e9mettre 0,1 ou plusieurs paires cl\u00e9-valeur pour chaque entr\u00e9e. Les mappeurs et les r\u00e9ducteurs peuvent \u00e9mettre des cl\u00e9s ou des valeurs arbitraires, pas seulement des sous-ensembles ou des transformations de celles de l'entr\u00e9e.<\/p>\n\n

Exemple:<\/b><\/p>\n\n

\n

def map (cl\u00e9, valeur, contexte)<\/i><\/p>\n

value.to_s.split.each faire |word|<\/i><\/p>\n

mot.gsub!(\/W\/, ")<\/i><\/p>\n

mot.downcase!<\/i><\/p>\n

\u00e0 moins que mot.vide ?<\/i><\/p>\n

contexte.write(Hadoop::Io::Text.new(word), Hadoop::Io::IntWritable.new(1))<\/i><\/p>\n

fin<\/i><\/p>\n

fin<\/i><\/p>\n

fin<\/i><\/p>\n

def r\u00e9duire (cl\u00e9, valeurs, contexte)<\/i><\/p>\n

somme = 0<\/i><\/p>\n

valeurs.each { |valeur| somme += valeur.get }<\/i><\/p>\n

contexte.write(cl\u00e9, Hadoop::Io::IntWritable.new(sum))<\/i><\/p>\n

fin<\/i><\/p>\n<\/blockquote>\n\n

La m\u00e9thode Mapper se divise en espaces, supprime tous les caract\u00e8res autres que des mots et les minuscules. Il g\u00e9n\u00e8re un un comme valeur. La m\u00e9thode de r\u00e9duction consiste \u00e0 parcourir les valeurs, \u00e0 additionner tous les nombres et \u00e0 afficher la cl\u00e9 d'entr\u00e9e et la somme.<\/p>\n\n

Fichier d'entr\u00e9e\u00a0:<\/b> Bonjour le monde, au revoir le monde<\/span><\/p>\n\n

fichier de sortie:<\/b><\/span> Au revoir 1<\/span><\/p>\n\n

Bonjour 1<\/span><\/p>\n\n

Monde 2<\/span><\/p>\n\n

\n
<\/a><\/figure>\n<\/div>\n\n

Ainsi se termine le briefing sur les composants de Hadoop, leur architecture, leur fonctionnement ainsi que les \u00e9tapes impliqu\u00e9es dans les diff\u00e9rents processus se d\u00e9roulant dans les deux syst\u00e8mes de Hadoop.<\/p>\n\n

Il y a aussi quelques avantages et inconv\u00e9nients de Hadoop, tout comme une pi\u00e8ce compos\u00e9e de deux faces, qui seront discut\u00e9s dans les prochains blogs. Une connaissance compl\u00e8te de n\u2019importe quel concept n\u2019est possible qu\u2019une fois que vous connaissez les avantages et les inconv\u00e9nients d\u2019un concept particulier.<\/p>\n\n

D\u00e9sormais pour acqu\u00e9rir une connaissance compl\u00e8te de Hadoop, continuez \u00e0 suivre les prochains articles du blog.<\/p>\n\n

Les deux visages de Hadoop<\/b><\/span><\/p>\n\n

Avantages:<\/b><\/span><\/p>\n\n