{"id":1391,"date":"2015-02-06T03:32:57","date_gmt":"2015-02-06T03:32:57","guid":{"rendered":"https:\/\/dev.railscarma.com\/components-hadoop\/"},"modified":"2024-01-10T10:00:21","modified_gmt":"2024-01-10T10:00:21","slug":"komponenter-hadoop","status":"publish","type":"post","link":"https:\/\/www.railscarma.com\/sv\/blogg\/tekniska-artiklar\/komponenter-hadoop\/","title":{"rendered":"Komponenter i Hadoop"},"content":{"rendered":"
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n

F\u00f6rra artikeln<\/a><\/strong> har gett dig en \u00f6versikt om Hadoop och de tv\u00e5 komponenterna i Hadoop som \u00e4r HDFS och Mapreduce-ramverket. Den h\u00e4r artikeln skulle nu ge dig en kort f\u00f6rklaring om HDFS-arkitekturen och dess funktion.<\/p>\n\n

HDFS:<\/b><\/p>\n\n

Hadoop Distributed File System (HDFS) \u00e4r sj\u00e4lvl\u00e4kande klustrad lagring med h\u00f6g bandbredd. HDFS har en master\/slav-arkitektur. Ett HDFS-kluster best\u00e5r av en enda NameNode, en huvudserver som hanterar filsystemets namnutrymme och reglerar \u00e5tkomst till filer f\u00f6r klienter. Dessutom finns det antal datanoder vanligtvis en per nod i klustret, som hanterar lagringen kopplad till noderna som de k\u00f6rs p\u00e5.<\/p>\n\n

HDFS exponerar ett filsystems namnutrymme och till\u00e5ter att anv\u00e4ndardata lagras i filer. Internt delas en fil i ett eller flera block och dessa block lagras i en upps\u00e4ttning DataNodes. NameNode utf\u00f6r filsystemets namnomr\u00e5desoperationer som att \u00f6ppna, st\u00e4nga och byta namn p\u00e5 filer och kataloger.<\/p>\n\n

Den best\u00e4mmer ocks\u00e5 mappningen av block till DataNOdes. DataNoderna ansvarar f\u00f6r att betj\u00e4na l\u00e4s- och skrivf\u00f6rfr\u00e5gningar fr\u00e5n filsystemets klienter. DataNoderna utf\u00f6r ocks\u00e5 blockskapande, radering och replikering efter instruktioner fr\u00e5n NameNode.<\/p>\n\n

\n
<\/a><\/figure>\n<\/div>\n\n

Ovanst\u00e5ende skiss representerar arkitekturen f\u00f6r HDFS.<\/strong><\/p>\n\n

MapReduce:<\/b><\/p>\n\n

Det andra konceptet och komponenten i Hadoop \u00e4r Mapreduce. Mapreduce \u00e4r distribuerad feltolerant resurshantering och schemal\u00e4ggning i kombination med en skalbar dataprogrammeringsabstraktion.<\/p>\n\n

Det \u00e4r ett parallellt ramverk f\u00f6r databehandling. Mapreduce-ramverket anv\u00e4nds f\u00f6r att f\u00e5 ut data fr\u00e5n de olika filerna och datanoderna som finns tillg\u00e4ngliga i ett system. Den f\u00f6rsta delen \u00e4r att data m\u00e5ste skjutas in p\u00e5 de olika servrarna d\u00e4r filerna replikeras. Det \u00e4r kort sagt att lagra data.<\/p>\n\n

Det andra steget n\u00e4r data har lagrats ska koden skjutas till Hadoop-klustret till namnnoden som skulle distribueras p\u00e5 olika datanoder som skulle bli ber\u00e4kningsnoderna och sedan skulle slutanv\u00e4ndaren ta emot den slutliga utmatningen.<\/p>\n\n

Mapreduce i Hadoop \u00e4r inte bara den enda funktionen som h\u00e4nder, det finns olika uppgifter inblandade som postl\u00e4sare, map, combiner, partition-er, blanda och sortera och reducera data och slutligen ger utdata. Den delar upp indataupps\u00e4ttningen i oberoende bitar som bearbetas av kartuppgifterna p\u00e5 ett helt parallellt s\u00e4tt.<\/p>\n\n

Ramverket sorterar kartornas utdata, som sedan pushas som en input till de reducerade uppgifterna. Vanligtvis lagras b\u00e5de indata och utdata fr\u00e5n jobbet i ett filsystem. Ramverket tar ocks\u00e5 hand om schemal\u00e4ggning, \u00f6vervakar dem och utf\u00f6r de misslyckade uppgifterna igen.<\/p>\n\n

Mapreduce nyckel-v\u00e4rde-par:<\/b><\/p>\n\n

Kartl\u00e4ggare och reducerare anv\u00e4nder alltid nyckel-v\u00e4rdepar som input och output. En reducering reducerar endast v\u00e4rden per nyckel. En mappare eller reducerare kan s\u00e4nda ut 0,1 eller fler nyckelv\u00e4rdespar f\u00f6r varje ing\u00e5ng. Kartl\u00e4ggare och reducerare kan s\u00e4nda ut godtyckliga nycklar eller v\u00e4rden, inte bara delm\u00e4ngder eller transformationer av dem i inmatningen.<\/p>\n\n

Exempel:<\/b><\/p>\n\n

\n

def map(nyckel, v\u00e4rde, sammanhang)<\/i><\/p>\n

v\u00e4rde.till_s.split.varje g\u00f6r |ord|<\/i><\/p>\n

word.gsub!(\/W\/, \u201d)<\/i><\/p>\n

word.downcase!<\/i><\/p>\n

om inte word.tomt?<\/i><\/p>\n

context.write(Hadoop::Io::Text.new(word), Hadoop::Io::IntWritable.new(1))<\/i><\/p>\n

slutet<\/i><\/p>\n

slutet<\/i><\/p>\n

slutet<\/i><\/p>\n

def reduce(nyckel, v\u00e4rden, sammanhang)<\/i><\/p>\n

summa = 0<\/i><\/p>\n

v\u00e4rden.varje { |v\u00e4rde| summa += v\u00e4rde.get }<\/i><\/p>\n

context.write(key, Hadoop::Io::IntWritable.new(sum))<\/i><\/p>\n

slutet<\/i><\/p>\n<\/blockquote>\n\n

Mapper-metoden delar p\u00e5 blanksteg, tar bort alla tecken som inte \u00e4r ord och sm\u00e5 bokst\u00e4ver. Den matar ut en etta som v\u00e4rde. Reducermetoden \u00e4r att iterera \u00f6ver v\u00e4rdena, l\u00e4gga ihop alla siffror och mata ut inmatningsnyckeln och summan.<\/p>\n\n

Indatafil:<\/b> Hej v\u00e4rlden Bye World<\/span><\/p>\n\n

utdatafil:<\/b><\/span> Hejd\u00e5 1<\/span><\/p>\n\n

Hej 1<\/span><\/p>\n\n

V\u00e4rld 2<\/span><\/p>\n\n

\n
<\/a><\/figure>\n<\/div>\n\n

D\u00e4rav slutar genomg\u00e5ngen om komponenterna i Hadoop, deras arkitektur, funktion och \u00e4ven steg involverade i olika processer som sker i b\u00e5da systemen i Hadoop.<\/p>\n\n

Det finns ocks\u00e5 n\u00e5gra f\u00f6r- och nackdelar med Hadoop p\u00e5 samma s\u00e4tt som ett mynt som best\u00e5r av tv\u00e5 ansikten som kommer att diskuteras i de kommande bloggarna. Fullst\u00e4ndig kunskap om vilket koncept som helst kan bara vara m\u00f6jligt n\u00e4r du f\u00e5r veta mer och nackdelar med det specifika konceptet.<\/p>\n\n

F\u00f6r att f\u00e5 fullst\u00e4ndig kunskap om Hadoop forts\u00e4tt f\u00f6lja bloggens kommande inl\u00e4gg.<\/p>\n\n

Hadoops tv\u00e5 ansikten<\/b><\/span><\/p>\n\n

F\u00f6rdelar:<\/b><\/span><\/p>\n\n