{"id":1391,"date":"2015-02-06T03:32:57","date_gmt":"2015-02-06T03:32:57","guid":{"rendered":"https:\/\/dev.railscarma.com\/components-hadoop\/"},"modified":"2024-01-10T10:00:21","modified_gmt":"2024-01-10T10:00:21","slug":"komponenten-hadoop","status":"publish","type":"post","link":"https:\/\/www.railscarma.com\/de\/blog\/fachartikel\/komponenten-hadoop\/","title":{"rendered":"Komponenten von Hadoop"},"content":{"rendered":"
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n

Der vorherige Artikel<\/a><\/strong> hat Ihnen einen \u00dcberblick \u00fcber Hadoop und die beiden Komponenten von Hadoop gegeben, n\u00e4mlich HDFS und das Mapreduce-Framework. In diesem Artikel erhalten Sie nun eine kurze Erl\u00e4uterung der HDFS-Architektur und ihrer Funktionsweise.<\/p>\n\n

HDFS:<\/b><\/p>\n\n

Das Hadoop Distributed File System (HDFS) ist ein selbstheilender Clusterspeicher mit hoher Bandbreite. HDFS verf\u00fcgt \u00fcber eine Master\/Slave-Architektur. Ein HDFS-Cluster besteht aus einem einzelnen NameNode, einem Masterserver, der den Dateisystem-Namespace verwaltet und den Zugriff auf Dateien durch Clients reguliert. Dar\u00fcber hinaus gibt es eine Anzahl von Datenknoten, normalerweise einen pro Knoten im Cluster, der den Speicher verwaltet, der mit den Knoten verbunden ist, auf denen sie ausgef\u00fchrt werden.<\/p>\n\n

HDFS stellt einen Dateisystem-Namespace bereit und erm\u00f6glicht die Speicherung von Benutzerdaten in Dateien. Intern wird eine Datei in einen oder mehrere Bl\u00f6cke aufgeteilt und diese Bl\u00f6cke werden in einer Reihe von DataNodes gespeichert. Der NameNode f\u00fchrt Dateisystem-Namespace-Operationen wie das \u00d6ffnen, Schlie\u00dfen und Umbenennen von Dateien und Verzeichnissen aus.<\/p>\n\n

Es bestimmt auch die Zuordnung von Bl\u00f6cken zu DataNOdes. Die DataNodes sind f\u00fcr die Bearbeitung von Lese- und Schreibanforderungen der Clients des Dateisystems verantwortlich. Die DataNodes f\u00fchren auf Anweisung des NameNode auch die Erstellung, L\u00f6schung und Replikation von Bl\u00f6cken durch.<\/p>\n\n

\n
<\/a><\/figure>\n<\/div>\n\n

Die obige Skizze stellt die Architektur des HDFS dar.<\/strong><\/p>\n\n

Karte verkleinern:<\/b><\/p>\n\n

Das andere Konzept und die andere Komponente von Hadoop ist Mapreduce. Mapreduce ist eine verteilte fehlertolerante Ressourcenverwaltung und -planung in Verbindung mit einer skalierbaren Abstraktion der Datenprogrammierung.<\/p>\n\n

Es handelt sich um ein paralleles Datenverarbeitungs-Framework. Das Mapreduce-Framework wird verwendet, um die Daten aus den verschiedenen in einem System verf\u00fcgbaren Dateien und Datenknoten abzurufen. Der erste Teil besteht darin, dass die Daten auf die verschiedenen Server \u00fcbertragen werden m\u00fcssen, wo die Dateien repliziert w\u00fcrden, kurz gesagt, sie dienen der Speicherung Daten.<\/p>\n\n

Sobald die Daten gespeichert sind, besteht der zweite Schritt darin, den Code auf den Hadoop-Cluster zum Namensknoten zu \u00fcbertragen, der auf verschiedene Datenknoten verteilt wird, die zu Rechenknoten werden, und dann w\u00fcrde der Endbenutzer die endg\u00fcltige Ausgabe erhalten.<\/p>\n\n

Mapreduce in Hadoop ist nicht nur die eine Funktion, die ausgef\u00fchrt wird, es sind auch verschiedene Aufgaben beteiligt, wie z. B. Datensatzleser, Zuordnen, Kombinieren, Partitionieren, Mischen und Sortieren und Reduzieren der Daten und schlie\u00dflich die Ausgabe der Ausgabe. Es teilt den Eingabedatensatz in unabh\u00e4ngige Bl\u00f6cke auf, die von den Kartenaufgaben vollst\u00e4ndig parallel verarbeitet werden.<\/p>\n\n

Das Framework sortiert die Ausgaben der Karten, die dann als Eingabe an die reduzierten Aufgaben weitergegeben werden. Normalerweise werden sowohl die Eingabe als auch die Ausgabe des Jobs in einem Dateisystem gespeichert. Das Framework k\u00fcmmert sich auch um die Planung und \u00fcberwacht die erneute Ausf\u00fchrung der fehlgeschlagenen Aufgaben.<\/p>\n\n

Mapreduce-Schl\u00fcssel-Wert-Paar:<\/b><\/p>\n\n

Mapper und Reduzierer verwenden immer Schl\u00fcssel-Wert-Paare als Eingabe und Ausgabe. Ein Reduzierer reduziert Werte nur pro Schl\u00fcssel. Ein Mapper oder Reduzierer kann f\u00fcr jede Eingabe 0,1 oder mehr Schl\u00fcsselwertpaare ausgeben. Mapper und Reduzierer k\u00f6nnen beliebige Schl\u00fcssel oder Werte ausgeben, nicht nur Teilmengen oder Transformationen derjenigen in der Eingabe.<\/p>\n\n

Beispiel:<\/b><\/p>\n\n

\n

Def Map (Schl\u00fcssel, Wert, Kontext)<\/i><\/p>\n

value.to_s.split.each do |word|<\/i><\/p>\n

word.gsub!(\/W\/, \u201d)<\/i><\/p>\n

Wort.downcase!<\/i><\/p>\n

es sei denn, word.empty?<\/i><\/p>\n

context.write(Hadoop::Io::Text.new(word), Hadoop::Io::IntWritable.new(1))<\/i><\/p>\n

Ende<\/i><\/p>\n

Ende<\/i><\/p>\n

Ende<\/i><\/p>\n

def Reduce(Schl\u00fcssel, Werte, Kontext)<\/i><\/p>\n

Summe = 0<\/i><\/p>\n

Werte.each { |value| sum += value.get }<\/i><\/p>\n

context.write(key, Hadoop::Io::IntWritable.new(sum))<\/i><\/p>\n

Ende<\/i><\/p>\n<\/blockquote>\n\n

Die Mapper-Methode teilt Leerzeichen auf, entfernt alle Nicht-Wort-Zeichen und Kleinbuchstaben. Als Wert wird eine Eins ausgegeben. Die Reduziermethode iteriert \u00fcber die Werte, addiert alle Zahlen und gibt den Eingabeschl\u00fcssel und die Summe aus.<\/p>\n\n

Eingabedatei:<\/b> Hallo Welt, tsch\u00fcss Welt<\/span><\/p>\n\n

Ausgabedatei:<\/b><\/span> Tsch\u00fcss 1<\/span><\/p>\n\n

Hallo 1<\/span><\/p>\n\n

Welt 2<\/span><\/p>\n\n

\n
<\/a><\/figure>\n<\/div>\n\n

Damit endet das Briefing \u00fcber die Komponenten von Hadoop, ihre Architektur, Funktionsweise und auch die Schritte, die an verschiedenen Prozessen beteiligt sind, die in beiden Systemen von Hadoop ablaufen.<\/p>\n\n

Es gibt auch einige Vor- und Nachteile von Hadoop, \u00e4hnlich wie bei einer M\u00fcnze, die aus zwei Seiten besteht, die in den kommenden Blogs besprochen werden. Eine vollst\u00e4ndige Kenntnis eines Konzepts ist nur dann m\u00f6glich, wenn Sie die Vor- und Nachteile des jeweiligen Konzepts kennen.<\/p>\n\n

Um von nun an umfassende Kenntnisse \u00fcber Hadoop zu erlangen, folgen Sie weiterhin den kommenden Beitr\u00e4gen des Blogs.<\/p>\n\n

Die zwei Gesichter von Hadoop<\/b><\/span><\/p>\n\n

Vorteile:<\/b><\/span><\/p>\n\n