{"id":1391,"date":"2015-02-06T03:32:57","date_gmt":"2015-02-06T03:32:57","guid":{"rendered":"https:\/\/dev.railscarma.com\/components-hadoop\/"},"modified":"2024-01-10T10:00:21","modified_gmt":"2024-01-10T10:00:21","slug":"componenti-hadoop","status":"publish","type":"post","link":"https:\/\/www.railscarma.com\/it\/blog\/articoli-tecnici\/componenti-hadoop\/","title":{"rendered":"Componenti di Hadoop"},"content":{"rendered":"
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n

L'articolo precedente<\/a><\/strong> ti ha fornito una panoramica di Hadoop e dei due componenti di Hadoop che sono HDFS e il framework Mapreduce. Questo articolo ora ti fornir\u00e0 una breve spiegazione sull'architettura HDFS e sul suo funzionamento.<\/p>\n\n

HDFS:<\/b><\/p>\n\n

Il file system distribuito Hadoop (HDFS) \u00e8 uno storage in cluster a larghezza di banda elevata con autoriparazione. HDFS ha un'architettura master\/slave. Un cluster HDFS \u00e8 costituito da un singolo NameNode, un server master che gestisce lo spazio dei nomi del file system e regola l'accesso ai file da parte dei client. Inoltre, nel cluster \u00e8 presente un numero di datanode, solitamente uno per nodo, che gestisce lo spazio di archiviazione collegato ai nodi su cui vengono eseguiti.<\/p>\n\n

HDFS espone uno spazio dei nomi del file system e consente di archiviare i dati dell'utente in file. Internamente un file viene suddiviso in uno o pi\u00f9 blocchi e questi blocchi vengono archiviati in una serie di DataNode. Il NameNode esegue operazioni sullo spazio dei nomi del file system come l'apertura, la chiusura e la ridenominazione di file e directory.<\/p>\n\n

Determina inoltre la mappatura dei blocchi sui DataNOde. I DataNode sono responsabili di servire le richieste di lettura e scrittura dai client del file system. I DataNode eseguono anche la creazione, l'eliminazione e la replica dei blocchi su istruzione del NameNode.<\/p>\n\n

\n
<\/a><\/figure>\n<\/div>\n\n

Lo schizzo sopra rappresenta l'architettura dell'HDFS.<\/strong><\/p>\n\n

Riduci mappa:<\/b><\/p>\n\n

L'altro concetto e componente di Hadoop \u00e8 Mapreduce. Mapreduce \u00e8 una gestione e pianificazione distribuita delle risorse con tolleranza agli errori abbinata a un'astrazione di programmazione dei dati scalabile.<\/p>\n\n

\u00c8 un framework di elaborazione dati parallelo. Il framework Mapreduce viene utilizzato per estrarre i dati dai vari file e nodi di dati disponibili in un sistema. La prima parte \u00e8 che i dati devono essere inseriti sui diversi server dove i file verranno replicati, in breve \u00e8 archiviare il dati.<\/p>\n\n

Il secondo passaggio, una volta archiviati i dati, il codice deve essere inviato al cluster Hadoop al namenode che verrebbe distribuito su diversi datanode che diventerebbero i nodi di calcolo e quindi l'utente finale riceverebbe l'output finale.<\/p>\n\n

Mapreduce in Hadoop non \u00e8 solo l'unica funzione attiva, ci sono diverse attivit\u00e0 coinvolte come lettore di record, mappa, combinatore, partizionatore, mescola, ordina e riduce i dati e infine fornisce l'output. Suddivide il set di dati di input in blocchi indipendenti che vengono elaborati dalle attivit\u00e0 della mappa in modo completamente parallelo.<\/p>\n\n

Il framework ordina gli output delle mappe, che vengono poi inseriti come input per i compiti ridotti. In genere sia l'input che l'output del lavoro vengono archiviati in un file system. Il framework si occupa anche della pianificazione, monitorandoli e rieseguendo le attivit\u00e0 fallite.<\/p>\n\n

Coppia chiave-valore Mapreduce:<\/b><\/p>\n\n

I mappatori e i riduttori utilizzano sempre coppie chiave-valore come input e output. Un riduttore riduce solo i valori per chiave. Un mappatore o un riduttore pu\u00f2 emettere 0,1 o pi\u00f9 coppie di valori chiave per ogni input. I mappatori e i riduttori possono emettere qualsiasi chiave o valore arbitrario, non solo sottoinsiemi o trasformazioni di quelli nell'input.<\/p>\n\n

Esempio:<\/b><\/p>\n\n

\n

def map(chiave, valore, contesto)<\/i><\/p>\n

valore.to_s.split.each fa |parola|<\/i><\/p>\n

parola.gsub!(\/W\/, ")<\/i><\/p>\n

parola.downcase!<\/i><\/p>\n

a meno che word.empty?<\/i><\/p>\n

context.write(Hadoop::Io::Text.new(parola), Hadoop::Io::IntWritable.new(1))<\/i><\/p>\n

FINE<\/i><\/p>\n

FINE<\/i><\/p>\n

FINE<\/i><\/p>\n

def ridurre(chiave, valori, contesto)<\/i><\/p>\n

somma = 0<\/i><\/p>\n

valori.ciascuno { |valore| somma += valore.get }<\/i><\/p>\n

contesto.write(chiave, Hadoop::Io::IntWritable.new(somma))<\/i><\/p>\n

FINE<\/i><\/p>\n<\/blockquote>\n\n

Il metodo Mapper si divide sugli spazi bianchi, rimuove tutti i caratteri non verbali e le lettere minuscole. Restituisce uno come valore. Il metodo riduttore esegue l'iterazione sui valori, somma tutti i numeri e restituisce la chiave di input e la somma.<\/p>\n\n

File di input:<\/b> Ciao mondo, ciao mondo<\/span><\/p>\n\n

file di uscita:<\/b><\/span> Ciao 1<\/span><\/p>\n\n

Ciao 1<\/span><\/p>\n\n

Mondo 2<\/span><\/p>\n\n

\n
<\/a><\/figure>\n<\/div>\n\n

Qui termina il briefing sui componenti di Hadoop, la loro architettura, il funzionamento e anche le fasi coinvolte nei diversi processi che si verificano in entrambi i sistemi di Hadoop.<\/p>\n\n

Ci sono anche alcuni pro e contro di Hadoop, analogamente a una moneta composta da due facce, di cui parleremo nei prossimi blog. La conoscenza completa di qualsiasi concetto pu\u00f2 essere possibile solo una volta che si conoscono i meriti e i demeriti di quel particolare concetto.<\/p>\n\n

D'ora in poi per acquisire una conoscenza completa di Hadoop continuate a seguire i prossimi post del blog.<\/p>\n\n

I due volti di Hadoop<\/b><\/span><\/p>\n\n

Professionisti:<\/b><\/span><\/p>\n\n