{"id":1391,"date":"2015-02-06T03:32:57","date_gmt":"2015-02-06T03:32:57","guid":{"rendered":"https:\/\/dev.railscarma.com\/components-hadoop\/"},"modified":"2024-01-10T10:00:21","modified_gmt":"2024-01-10T10:00:21","slug":"componentes-hadoop","status":"publish","type":"post","link":"https:\/\/www.railscarma.com\/es\/blog\/articulos-tecnicos\/componentes-hadoop\/","title":{"rendered":"Componentes de Hadoop"},"content":{"rendered":"
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n

El articulo anterior<\/a><\/strong> le ha brindado una descripci\u00f3n general sobre Hadoop y los dos componentes de Hadoop que son HDFS y el marco Mapreduce. Este art\u00edculo ahora le brindar\u00e1 una breve explicaci\u00f3n sobre la arquitectura HDFS y su funcionamiento.<\/p>\n\n

HDFS:<\/b><\/p>\n\n

El sistema de archivos distribuido Hadoop (HDFS) es un almacenamiento en cl\u00faster de gran ancho de banda y autorreparaci\u00f3n. HDFS tiene una arquitectura maestro\/esclavo. Un cl\u00faster HDFS consta de un \u00fanico NameNode, un servidor maestro que administra el espacio de nombres del sistema de archivos y regula el acceso a los archivos por parte de los clientes. Adem\u00e1s, hay varios nodos de datos, generalmente uno por nodo en el cl\u00faster, que administra el almacenamiento adjunto a los nodos en los que se ejecutan.<\/p>\n\n

HDFS expone un espacio de nombres del sistema de archivos y permite que los datos del usuario se almacenen en archivos. Internamente, un archivo se divide en uno o m\u00e1s bloques y estos bloques se almacenan en un conjunto de DataNodes. NameNode ejecuta operaciones de espacio de nombres del sistema de archivos, como abrir, cerrar y cambiar el nombre de archivos y directorios.<\/p>\n\n

Tambi\u00e9n determina el mapeo de bloques a DataNOdes. Los DataNodes son responsables de atender las solicitudes de lectura y escritura de los clientes del sistema de archivos. Los DataNodes tambi\u00e9n realizan la creaci\u00f3n, eliminaci\u00f3n y replicaci\u00f3n de bloques seg\u00fan las instrucciones del NameNode.<\/p>\n\n

\n
<\/a><\/figure>\n<\/div>\n\n

El boceto anterior representa la arquitectura de HDFS.<\/strong><\/p>\n\n

Mapa reducido:<\/b><\/p>\n\n

El otro concepto y componente de Hadoop es Mapreduce. Mapreduce es una gesti\u00f3n y programaci\u00f3n de recursos distribuida y tolerante a fallos junto con una abstracci\u00f3n de programaci\u00f3n de datos escalable.<\/p>\n\n

Es un marco de procesamiento de datos paralelo. El marco Mapreduce se utiliza para obtener los datos de los distintos archivos y nodos de datos disponibles en un sistema. La primera parte es que los datos deben enviarse a los diferentes servidores donde se replicar\u00edan los archivos; en resumen, se almacena el datos.<\/p>\n\n

El segundo paso, una vez que se almacenan los datos, es enviar el c\u00f3digo al cl\u00faster de Hadoop al nodo de nombre, que se distribuir\u00e1 en diferentes nodos de datos que se convertir\u00e1n en nodos de c\u00e1lculo y luego el usuario final recibir\u00e1 el resultado final.<\/p>\n\n

Mapreduce en Hadoop no es solo una funci\u00f3n, hay diferentes tareas involucradas como lector de registros, mapa, combinador, particionador, barajar y ordenar y reducir los datos y finalmente proporciona el resultado. Divide el conjunto de datos de entrada en fragmentos independientes que las tareas del mapa procesan de forma completamente paralela.<\/p>\n\n

El marco clasifica los resultados de los mapas, que luego se env\u00edan como entrada para las tareas reducidas. Normalmente, tanto la entrada como la salida del trabajo se almacenan en un sistema de archivos. El marco tambi\u00e9n se encarga de la programaci\u00f3n, monitore\u00e1ndolas y volviendo a ejecutar las tareas fallidas.<\/p>\n\n

Mapreduce Par clave-valor:<\/b><\/p>\n\n

Los mapeadores y reductores siempre usan pares clave-valor como entrada y salida. Un reductor reduce los valores por clave \u00fanicamente. Un asignador o reductor puede emitir 0,1 o m\u00e1s pares de valores clave para cada entrada. Los mapeadores y reductores pueden emitir claves o valores arbitrarios, no solo subconjuntos o transformaciones de los de la entrada.<\/p>\n\n

Ejemplo:<\/b><\/p>\n\n

\n

def mapa (clave, valor, contexto)<\/i><\/p>\n

value.to_s.split.each hacer |palabra|<\/i><\/p>\n

palabra.gsub!(\/W\/, \u201d)<\/i><\/p>\n

palabra.downcase!<\/i><\/p>\n

a menos que palabra.vac\u00eda?<\/i><\/p>\n

contexto.write(Hadoop::Io::Text.new(palabra), Hadoop::Io::IntWritable.new(1))<\/i><\/p>\n

fin<\/i><\/p>\n

fin<\/i><\/p>\n

fin<\/i><\/p>\n

def reducir (clave, valores, contexto)<\/i><\/p>\n

suma = 0<\/i><\/p>\n

valores.cada uno { |valor| suma += valor.get }<\/i><\/p>\n

contexto.write(clave, Hadoop::Io::IntWritable.new(suma))<\/i><\/p>\n

fin<\/i><\/p>\n<\/blockquote>\n\n

El m\u00e9todo Mapper divide en espacios en blanco, elimina todos los caracteres que no son palabras y las min\u00fasculas. Genera un uno como valor. El m\u00e9todo reductor consiste en iterar sobre los valores, sumar todos los n\u00fameros y generar la clave de entrada y la suma.<\/p>\n\n

Fichero de entrada:<\/b> Hola mundo, adi\u00f3s mundo.<\/span><\/p>\n\n

archivo de salida:<\/b><\/span> Adi\u00f3s 1<\/span><\/p>\n\n

hola 1<\/span><\/p>\n\n

Mundo 2<\/span><\/p>\n\n

\n
<\/a><\/figure>\n<\/div>\n\n

Aqu\u00ed termina la sesi\u00f3n informativa sobre los componentes de Hadoop, su arquitectura, funcionamiento y tambi\u00e9n los pasos involucrados en los diferentes procesos que suceden en ambos sistemas de Hadoop.<\/p>\n\n

Tambi\u00e9n hay algunos pros y contras de Hadoop, similar a una moneda que consta de dos caras, que se discutir\u00e1n en los pr\u00f3ximos blogs. El conocimiento completo de cualquier concepto s\u00f3lo ser\u00e1 posible una vez que se conozcan las ventajas y desventajas de ese concepto en particular.<\/p>\n\n

De ahora en adelante para adquirir un conocimiento completo de Hadoop sigue las pr\u00f3ximas publicaciones del blog.<\/p>\n\n

Las dos caras de Hadoop<\/b><\/span><\/p>\n\n

Ventajas:<\/b><\/span><\/p>\n\n