{"id":31591,"date":"2020-09-01T20:12:47","date_gmt":"2020-09-01T20:12:47","guid":{"rendered":"https:\/\/dev.railscarma.com\/data-scraping-in-rails-by-processing-csv\/"},"modified":"2021-06-04T10:22:38","modified_gmt":"2021-06-04T10:22:38","slug":"raspado-de-datos-en-rieles-mediante-el-procesamiento-de-csv","status":"publish","type":"post","link":"https:\/\/www.railscarma.com\/es\/blog\/articulos-tecnicos\/raspado-de-datos-en-rieles-mediante-el-procesamiento-de-csv\/","title":{"rendered":"Extracci\u00f3n de datos en rieles mediante procesamiento CSV"},"content":{"rendered":"
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n

La aplicaci\u00f3n Ruby on Rails para extraer el enlace cargado desde un archivo CSV y<\/p>\n\n\n\n

encuentre la aparici\u00f3n de un enlace en una p\u00e1gina en particular.<\/p>\n\n\n\n

En la aplicaci\u00f3n, el usuario debe pasar un csv y una lista de correo electr\u00f3nico de los usuarios a quienes se enviar\u00e1 el CSV analizado.<\/p>\n\n\n\n

En el csv habr\u00e1 tres columnas de 2:<\/p>\n\n\n\n

  • enlace_referencia<\/li>
  • enlace_inicio<\/li>
  • y hay valores como a continuaci\u00f3n<\/li><\/ul>\n\n\n\n

    Primero que nada crearemos la aplicaci\u00f3n Rails.<\/p>\n\n\n\n

    $ rieles nuevos scrape_data<\/em><\/strong><\/p>\n\n\n\n

    $ CD scrape_data<\/em><\/strong><\/p>\n\n\n\n

    Luego generaremos el m\u00f3dulo UploadCsv, ejecutaremos el siguiente comando<\/p>\n\n\n\n

    $ rieles g andamio UploadCsv generate_csv:string csv_file:string<\/em><\/strong><\/p>\n\n\n\n

    Eso crear\u00e1 todos los modelos, controladores y migraciones necesarios para csv_file<\/p>\n\n\n\n

    Luego comenzaremos cargando primero el archivo en la base de datos.<\/p>\n\n\n\n

    reemplace el siguiente c\u00f3digo en los archivos  aplicaci\u00f3n\/views\/upload_csvs\/_form.html.erb<\/em><\/strong><\/p>\n\n\n\n

    Agregamos el siguiente c\u00f3digo para cargar el archivo a la vista.<\/p>\n\n\n\n

    <%= form_with(modelo: upload_csv, local: true) hacer |formulario| %><\/p>\n\n\n\n

      <% si upload_csv.errors.any? %><\/p>\n\n\n\n

        <div id="”error_explanation”"><\/p>\n\n\n\n

          <h2><%= pluralize(upload_csv.errors.count, “error”) %> prohibió que se guardara este upload_csv:<\/h2><\/p>\n\n\n\n

         

      <\/p>\n\n\n\n

              <% upload_csv.errors.full_messages.cada uno |mensaje| %><\/p>\n\n\n\n

               

    • <%= mensaje %><\/li><\/p>\n\n\n\n

              <% final %><\/p>\n\n\n\n

            <\/ul><\/p>\n\n\n\n

          <\/div><\/p>\n\n\n\n

        <% final %><\/p>\n\n\n\n

        <div class="”field”"><\/p>\n\n\n\n

          <%= formulario.etiqueta:csv_file %><\/p>\n\n\n\n

          <%= formulario.campo_archivo :archivo_csv %><\/p>\n\n\n\n

        <\/div><\/p>\n\n\n\n

        <div class="”actions”"><\/p>\n\n\n\n

          <%= formulario.enviar %><\/p>\n\n\n\n

        <\/div><\/p>\n\n\n\n

      <% final %><\/p>\n\n\n\n

      Luego agregaremos la gema para cargar un archivo csv.<\/p>\n\n\n\n

      agregue la siguiente l\u00ednea en el archivo de gemas<\/p>\n\n\n\n

      gema 'onda portadora', '~> 2.0'<\/p>\n\n\n\n

      Instalaci\u00f3n del paquete $<\/em><\/strong><\/p>\n\n\n\n

      Luego crearemos el cargador en Carrierwave.<\/p>\n\n\n\n

      Los rieles $ generan el avatar del cargador<\/em><\/strong><\/p>\n\n\n\n

      Adjuntaremos el cargador en el modelo.<\/p>\n\n\n\n

      aplicaci\u00f3n\/modelos\/upload_csv.rb<\/em><\/strong><\/p>\n\n\n\n

      clase UploadCsv <Registro de aplicaci\u00f3n<\/p>\n\n\n\n

        mount_uploader: archivo_csv, AvatarUploader<\/p>\n\n\n\n

      fin<\/p>\n\n\n\n

      Antes de continuar, simplemente verifique que su aplicaci\u00f3n est\u00e9 funcionando.<\/p>\n\n\n\n

      ejecutar los siguientes comandos<\/p>\n\n\n\n

      $ rastrillo db:crear db:migrar<\/em><\/strong><\/p>\n\n\n\n

      actualizar las rutas<\/p>\n\n\n\n

      Rails.application.routes.draw hacer<\/p>\n\n\n\n

        recursos: subir_csvs<\/p>\n\n\n\n

        ra\u00edz 'upload_csvs#index'<\/p>\n\n\n\n

      fin<\/p>\n\n\n\n

      Rieles $<\/em><\/strong><\/p>\n\n\n\n

      Luego crearemos un trabajo para leer el archivo CSV y eliminar el enlace.<\/p>\n\n\n\n

      y el archivo generado se guardar\u00e1 en la columna generate_csv de esos registros<\/p>\n\n\n\n

      Para generar el trabajo haremos como se muestra a continuaci\u00f3n.<\/p>\n\n\n\n

      Los carriles $ generan empleo <\/em>generar_csv<\/em><\/strong><\/p>\n\n\n\n

      agregue la siguiente gema y ejecute la instalaci\u00f3n del paquete<\/p>\n\n\n\n

      joya 'httppartido'<\/p>\n\n\n\n

      joya 'nokogiri'<\/p>\n\n\n\n

      luego reemplazaremos el c\u00f3digo con el siguiente<\/p>\n\n\n\n

      clase GenrateCsvJob <ApplicationJob<\/p>\n\n\n\n

        cola_as: predeterminado<\/p>\n\n\n\n

        def realizar(upload_csv)<\/p>\n\n\n\n

          procesado_csv(cargar_csv)<\/p>\n\n\n\n

          archivo = Tempfile.open([\u201c#{Rails.root}\/public\/generated_csv\u201d, '.csv']) hacer |csv|<\/p>\n\n\n\n

            csv << %w[referal_link home_link count]<\/p>\n\n\n\n

            @new_array.cada uno hace |new_array|<\/p>\n\n\n\n

              csv << nueva_matriz<\/p>\n\n\n\n

            fin<\/p>\n\n\n\n

            archivo = "#{Rails.root}\/public\/product_data.csv"<\/p>\n\n\n\n

            encabezados = ['referal_link', 'home_link', 'count']<\/p>\n\n\n\n

            archivo = CSV.open(archivo, 'w', write_headers: verdadero, encabezados: encabezados) hacer |escritor|<\/p>\n\n\n\n

              @new_array.cada uno hace |new_array|<\/p>\n\n\n\n

                escritor << nueva_matriz<\/p>\n\n\n\n

              fin<\/p>\n\n\n\n

              upload_csv.update(generated_csv: archivo)<\/p>\n\n\n\n

            fin<\/p>\n\n\n\n

          fin<\/p>\n\n\n\n

          NotificationMailer.send_csv(upload_csv).deliver_now! si @new_array.presente?<\/p>\n\n\n\n

          1TP5Necesita generar el correo y seguir los pasos del mismo.<\/p>\n\n\n\n

        fin<\/p>\n\n\n\n

        M\u00e9todo # para obtener el recuento de enlaces y los almacenes en la matriz<\/p>\n\n\n\n

        def procesado_csv(cargar_csv)<\/p>\n\n\n\n

          @new_array = []<\/p>\n\n\n\n

          CSV.foreach(upload_csv.csv_file.path, encabezados: verdadero, header_converters: :symbol) hacer |fila|<\/p>\n\n\n\n

            mapa_fila = fila.to_h<\/p>\n\n\n\n

            p\u00e1gina = HTTParty.get(row_map[:refferal_link])<\/p>\n\n\n\n

            page_parse = Nokogiri::HTML(p\u00e1gina)<\/p>\n\n\n\n

            link_array = page_parse.css('a').map { |enlace| enlace['href'] }<\/p>\n\n\n\n

            link_array_group = link_array.group_by(&:itself).map { |k, v| [k, v.longitud] }.to_h<\/p>\n\n\n\n

            @new_array.push([row_map[:refferal_link], row_map[:home_link], (link_array_group[row_map[:home_link]]).to_s])<\/p>\n\n\n\n

          fin<\/p>\n\n\n\n

        fin<\/p>\n\n\n\n

      fin<\/p>\n\n\n\n

      Luego adjuntaremos el trabajo after_create de upload_csvs y agregaremos la validaci\u00f3n para csv_file require<\/p>\n\n\n\n

       por favor actualice el c\u00f3digo de  aplicaci\u00f3n\/modelos\/upload_csv.rb<\/em><\/strong><\/p>\n\n\n\n

      clase UploadCsv <Registro de aplicaci\u00f3n<\/p>\n\n\n\n

        mount_uploader: archivo_csv, AvatarUploader<\/p>\n\n\n\n

        after_create: procesado_csv<\/p>\n\n\n\n

        def procesado_csv<\/p>\n\n\n\n

          GenerarCsvJob.perform_later(self)<\/p>\n\n\n\n

        fin<\/p>\n\n\n\n

      fin<\/p>\n\n\n\n

      luego verifique despu\u00e9s de cargar el archivo, su archivo generado por scrape se actualizar\u00e1. Puede verificar el csv generado.<\/p>\n\n\n\n

      adentro  \/scrape_data\/public\/product_data.csv<\/em><\/strong><\/p>\n\n\n\n

      Podemos enviar por correo electr\u00f3nico siguiendo las instrucciones a continuaci\u00f3n.<\/p>\n\n\n\n

      Primero generaremos el anuncio publicitario.<\/p>\n\n\n\n

      Los rieles $ generan correo NotificationMailer<\/em><\/strong><\/p>\n\n\n\n

      actualizar el c\u00f3digo de aplicaci\u00f3n\/mailers\/notification_mailer.rb<\/em><\/strong><\/p>\n\n\n\n

        def enviar_csv(cargar_csv)<\/p>\n\n\n\n

          @saludo = 'Hola'<\/p>\n\n\n\n

          archivos adjuntos ['parsed.csv'] = Archivo.read(upload_csv.generated_csv)<\/p>\n\n\n\n

          mail(a: \u201csample@gmail.com\u201d, asunto: 'CSV se analiza correctamente').<\/p>\n\n\n\n

        fin<\/p>\n\n\n\n

      fin<\/p>\n\n\n\n

      por favor configure el correo configure tambi\u00e9n config\/environments\/development.rb o production.rb<\/em><\/strong><\/p>\n\n\n\n

      agregue las siguientes l\u00edneas en el archivo<\/p>\n\n\n\n

      config.action_mailer.default_url_options = {host: 'https:\/\/sample-scrape.herokuapp.com\/'}<\/p>\n\n\n\n

      config.action_mailer.delivery_method = :smtp<\/p>\n\n\n\n

      config.action_mailer.smtp_settings = {<\/p>\n\n\n\n

        nombre_usuario: 'muestra@gmail.com',<\/p>\n\n\n\n

        contrase\u00f1a: '*******123456',<\/p>\n\n\n\n

        dominio: 'gmail.com',<\/p>\n\n\n\n

        direcci\u00f3n: 'smtp.gmail.com',<\/p>\n\n\n\n

        puerto: '587',<\/p>\n\n\n\n

        autenticaci\u00f3n: :simple<\/p>\n\n\n\n

      }<\/p>\n\n\n\n

      config.action_mailer.raise_delivery_errors = falso<\/p>\n\n\n\n

      y actualizar la vista tambi\u00e9n aplicaci\u00f3n\/views\/notification_mailer\/send_csv.html.erb<\/em><\/strong><\/p>\n\n\n\n

      <h1>CSV ha sido procesado. ¡Gracias!<\/h1><\/p>\n\n\n\n

      <p><\/p>\n\n\n\n

        <%= @saludo %>, verifique el archivo adjunto para recibir el correo electr\u00f3nico<\/p>\n\n\n\n

      <\/p><\/p>\n\n\n\n

      Gracias !<\/p>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t

      \n\t\t\t\t\t\t
      \n\t\t\t\t\t
      \n\t\t\t
      \n\t\t\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t

      Suscr\u00edbete para recibir las \u00faltimas actualizaciones<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t\t\t
      \t\t\t\t\t