{"id":31591,"date":"2020-09-01T20:12:47","date_gmt":"2020-09-01T20:12:47","guid":{"rendered":"https:\/\/dev.railscarma.com\/data-scraping-in-rails-by-processing-csv\/"},"modified":"2021-06-04T10:22:38","modified_gmt":"2021-06-04T10:22:38","slug":"raschiamento-dei-dati-nei-binari-mediante-lelaborazione-di-csv","status":"publish","type":"post","link":"https:\/\/www.railscarma.com\/it\/blog\/articoli-tecnici\/raschiamento-dei-dati-nei-binari-mediante-lelaborazione-di-csv\/","title":{"rendered":"Scraping dei dati nelle rotaie mediante elaborazione CSV"},"content":{"rendered":"
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n

L'applicazione ruby on rails per raschiare il collegamento caricato dal file CSV e<\/p>\n\n\n\n

trovare l'occorrenza del collegamento in una pagina particolare.<\/p>\n\n\n\n

Nell'applicazione l'utente deve passare un CSV e un elenco di e-mail degli utenti a cui verr\u00e0 inviato il CSV analizzato.<\/p>\n\n\n\n

Nel csv ci saranno tre colonne da 2:<\/p>\n\n\n\n

  • referal_link<\/li>
  • home_link<\/li>
  • e ci sono valori come di seguito<\/li><\/ul>\n\n\n\n

    Prima di tutto creeremo l'applicazione dei binari<\/p>\n\n\n\n

    $ lancia il nuovo scrape_data<\/em><\/strong><\/p>\n\n\n\n

    $ cd scrap_data<\/em><\/strong><\/p>\n\n\n\n

    Quindi genereremo il modulo UploadCsv, eseguiremo il comando seguente<\/p>\n\n\n\n

    $ binari g ponteggio UploadCsv generato_csv:string csv_file:string<\/em><\/strong><\/p>\n\n\n\n

    Ci\u00f2 creer\u00e0 tutto il modello, il controller e le migrazioni richiesti per csv_file<\/p>\n\n\n\n

    Quindi inizieremo caricando prima il file nel DB<\/p>\n\n\n\n

    sostituire il codice seguente nei file  app\/views\/upload_csvs\/_form.html.erb<\/em><\/strong><\/p>\n\n\n\n

    abbiamo aggiunto il codice seguente per caricare il file visualizzato<\/p>\n\n\n\n

    <%= form_with(model: upload_csv, local: true) esegui |form| %><\/p>\n\n\n\n

      <% se upload_csv.errors.any? %><\/p>\n\n\n\n

        <div id="”error_explanation”"><\/p>\n\n\n\n

          <h2><%= pluralize(upload_csv.errors.count, “error”) %> ha impedito il salvataggio di questo upload_csv:<\/h2><\/p>\n\n\n\n

         

      <\/p>\n\n\n\n

              <% upload_csv.errors.full_messages.each fai |messaggio| %><\/p>\n\n\n\n

               

    • <%= messaggio %><\/li><\/p>\n\n\n\n

              <% fine %><\/p>\n\n\n\n

            <\/ul><\/p>\n\n\n\n

          <\/div><\/p>\n\n\n\n

        <% fine %><\/p>\n\n\n\n

        <div class="”field”"><\/p>\n\n\n\n

          <%= form.etichetta :csv_file %><\/p>\n\n\n\n

          <%= form.file_field :csv_file %><\/p>\n\n\n\n

        <\/div><\/p>\n\n\n\n

        <div class="”actions”"><\/p>\n\n\n\n

          <%= form.invia %><\/p>\n\n\n\n

        <\/div><\/p>\n\n\n\n

      <% fine %><\/p>\n\n\n\n

      Quindi aggiungeremo la gemma per caricare un file csv_<\/p>\n\n\n\n

      aggiungi la riga seguente nel file gem<\/p>\n\n\n\n

      gemma 'carrierwave', '~> 2.0'<\/p>\n\n\n\n

      Installazione del pacchetto $<\/em><\/strong><\/p>\n\n\n\n

      Quindi creeremo l'uploader in carrierwave<\/p>\n\n\n\n

      I binari $ generano l'avatar dell'uploader<\/em><\/strong><\/p>\n\n\n\n

      allegheremo l'uploader nel modello<\/p>\n\n\n\n

      app\/models\/upload_csv.rb<\/em><\/strong><\/p>\n\n\n\n

      class UploadCsv < ApplicationRecord<\/p>\n\n\n\n

        mount_uploader:csv_file, AvatarUploader<\/p>\n\n\n\n

      FINE<\/p>\n\n\n\n

      prima di procedere oltre controlla che l'applicazione funzioni<\/p>\n\n\n\n

      esegui i comandi seguenti<\/p>\n\n\n\n

      $ rake db:crea db:migra<\/em><\/strong><\/p>\n\n\n\n

      aggiornare i percorsi<\/p>\n\n\n\n

      Rails.application.routes.draw lo fa<\/p>\n\n\n\n

        risorse: upload_csvs<\/p>\n\n\n\n

        radice 'upload_csvs#index'<\/p>\n\n\n\n

      FINE<\/p>\n\n\n\n

      Guide $ s<\/em><\/strong><\/p>\n\n\n\n

      Quindi creeremo un lavoro per leggere il file CSV e ricavare il collegamento da esso<\/p>\n\n\n\n

      e il file generato verr\u00e0 salvato nella colonna generate_csv di tali record<\/p>\n\n\n\n

      per generare il lavoro faremo come di seguito<\/p>\n\n\n\n

      Le rotaie $ generano lavoro <\/em>generare_csv<\/em><\/strong><\/p>\n\n\n\n

      aggiungi la gemma seguente ed esegui l'installazione del bundle<\/p>\n\n\n\n

      gemma 'httparty'<\/p>\n\n\n\n

      gemma 'nokogiri'<\/p>\n\n\n\n

      quindi sostituiremo il codice con quello riportato di seguito<\/p>\n\n\n\n

      classe GenrateCsvJob < ApplicationJob<\/p>\n\n\n\n

        coda_as:predefinito<\/p>\n\n\n\n

        def esegui(upload_csv)<\/p>\n\n\n\n

          elaborato_csv(carica_csv)<\/p>\n\n\n\n

          file = Tempfile.open([\u201c#{Rails.root}\/public\/generated_csv\u201d, '.csv']) do |csv|<\/p>\n\n\n\n

            csv << %w[conteggio link home_link_referal]<\/p>\n\n\n\n

            @new_array.ognuno fa |new_array|<\/p>\n\n\n\n

              csv <<nuovo_array<\/p>\n\n\n\n

            FINE<\/p>\n\n\n\n

            file = "#{Rails.root}\/public\/product_data.csv"<\/p>\n\n\n\n

            intestazioni = ['link_referal', 'link_home', 'conta']<\/p>\n\n\n\n

            file = CSV.open(file, 'w', write_headers: true, headers: headers) do |writer|<\/p>\n\n\n\n

              @new_array.ognuno fa |new_array|<\/p>\n\n\n\n

                scrittore <<nuovo_array<\/p>\n\n\n\n

              FINE<\/p>\n\n\n\n

              upload_csv.update(generato_csv: file)<\/p>\n\n\n\n

            FINE<\/p>\n\n\n\n

          FINE<\/p>\n\n\n\n

          NotificationMailer.send_csv(upload_csv).deliver_now! se @new_array.present?<\/p>\n\n\n\n

          # \u00c8 necessario generare il mailer e seguire i passaggi del mailer<\/p>\n\n\n\n

        FINE<\/p>\n\n\n\n

        # Metodo per ottenere il conteggio dei collegamenti e memorizzarli nell'array<\/p>\n\n\n\n

        def elaborato_csv(upload_csv)<\/p>\n\n\n\n

          @nuovo_array = []<\/p>\n\n\n\n

          CSV.foreach(upload_csv.csv_file.path, headers: true, header_converters: :symbol) do |row|<\/p>\n\n\n\n

            riga_mappa = riga.to_h<\/p>\n\n\n\n

            pagina = HTTParty.get(row_map[:refferal_link])<\/p>\n\n\n\n

            page_parse = Nokogiri::HTML(pagina)<\/p>\n\n\n\n

            link_array = page_parse.css('a').map { |link| collegamento['href'] }<\/p>\n\n\n\n

            link_array_group = link_array.group_by(&:itself).map { |k, v| [k, v.lunghezza] }.to_h<\/p>\n\n\n\n

            @new_array.push([row_map[:refferal_link], row_map[:home_link], (link_array_group[row_map[:home_link]]).to_s])<\/p>\n\n\n\n

          FINE<\/p>\n\n\n\n

        FINE<\/p>\n\n\n\n

      FINE<\/p>\n\n\n\n

      Quindi allegheremo il job after_create di upload_csvs e aggiungeremo la validazione per csv_file require<\/p>\n\n\n\n

       si prega di aggiornare il codice di  app\/models\/upload_csv.rb<\/em><\/strong><\/p>\n\n\n\n

      class UploadCsv < ApplicationRecord<\/p>\n\n\n\n

        mount_uploader:csv_file, AvatarUploader<\/p>\n\n\n\n

        after_create:processed_csv<\/p>\n\n\n\n

        def elaborato_csv<\/p>\n\n\n\n

          GenrateCsvJob.perform_later(self)<\/p>\n\n\n\n

        FINE<\/p>\n\n\n\n

      FINE<\/p>\n\n\n\n

      quindi controlla dopo aver caricato il file, il file generato dallo scraping verr\u00e0 aggiornato, puoi controllare il CSV generato<\/p>\n\n\n\n

      dentro  \/scrape_data\/public\/product_data.csv<\/em><\/strong><\/p>\n\n\n\n

      possiamo inviare tramite e-mail utilizzando le istruzioni seguenti<\/p>\n\n\n\n

      Per prima cosa genereremo il mailer<\/p>\n\n\n\n

      I binari $ generano il mailer NotificationMailer<\/em><\/strong><\/p>\n\n\n\n

      aggiornare il codice di app\/mailers\/notification_mailer.rb<\/em><\/strong><\/p>\n\n\n\n

        def invia_csv(carica_csv)<\/p>\n\n\n\n

          @saluto = 'Ciao'<\/p>\n\n\n\n

          allegati['parsed.csv'] = File.read(upload_csv.generated_csv)<\/p>\n\n\n\n

          mail(a: \u201csample@gmail.com\u201d, oggetto: 'CSV analizzato con successo.')<\/p>\n\n\n\n

        FINE<\/p>\n\n\n\n

      FINE<\/p>\n\n\n\n

      per favore configura anche la configurazione della posta config\/environments\/development.rb o production.rb<\/em><\/strong><\/p>\n\n\n\n

      aggiungi le righe sottostanti nel file<\/p>\n\n\n\n

      config.action_mailer.default_url_options = { host: 'https:\/\/sample-scrape.herokuapp.com\/' }<\/p>\n\n\n\n

      config.action_mailer.delivery_method = :smtp<\/p>\n\n\n\n

      config.action_mailer.smtp_settings = {<\/p>\n\n\n\n

        nome_utente: 'campione@gmail.com',<\/p>\n\n\n\n

        password: '*******123456',<\/p>\n\n\n\n

        dominio: "gmail.com",<\/p>\n\n\n\n

        indirizzo: "smtp.gmail.com",<\/p>\n\n\n\n

        porto: '587',<\/p>\n\n\n\n

        autenticazione: :plain<\/p>\n\n\n\n

      }<\/p>\n\n\n\n

      config.action_mailer.raise_delivery_errors = falso<\/p>\n\n\n\n

      e aggiorna anche la vista app\/views\/notification_mailer\/send_csv.html.erb<\/em><\/strong><\/p>\n\n\n\n

      <h1>Il CSV è stato elaborato, grazie!<\/h1><\/p>\n\n\n\n

      <p><\/p>\n\n\n\n

        <%= @greeting %>, controlla l'allegato per ricevere l'e-mail<\/p>\n\n\n\n

      <\/p><\/p>\n\n\n\n

      Grazie !<\/p>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t

      \n\t\t\t\t\t\t
      \n\t\t\t\t\t
      \n\t\t\t
      \n\t\t\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t

      Iscriviti per gli ultimi aggiornamenti<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t\t\t
      \t\t\t\t\t