{"id":31591,"date":"2020-09-01T20:12:47","date_gmt":"2020-09-01T20:12:47","guid":{"rendered":"https:\/\/dev.railscarma.com\/data-scraping-in-rails-by-processing-csv\/"},"modified":"2021-06-04T10:22:38","modified_gmt":"2021-06-04T10:22:38","slug":"grattage-de-donnees-dans-les-rails-en-traitant-csv","status":"publish","type":"post","link":"https:\/\/www.railscarma.com\/fr\/blog\/articles-techniques\/grattage-de-donnees-dans-les-rails-en-traitant-csv\/","title":{"rendered":"R\u00e9cup\u00e9ration de donn\u00e9es dans Rails en traitant CSV"},"content":{"rendered":"
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n

L'application Ruby on Rails pour r\u00e9cup\u00e9rer le lien t\u00e9l\u00e9charg\u00e9 \u00e0 partir du fichier CSV et<\/p>\n\n\n\n

trouver l'occurrence d'un lien dans une page particuli\u00e8re.<\/p>\n\n\n\n

Dans l'application, l'utilisateur doit transmettre un fichier CSV et une liste de courrier \u00e9lectronique des utilisateurs auxquels le CSV analys\u00e9 sera envoy\u00e9.<\/p>\n\n\n\n

Dans le csv, il y aura trois 2 colonnes\u00a0:<\/p>\n\n\n\n

  • lien_de r\u00e9f\u00e9rence<\/li>
  • lien_accueil<\/li>
  • et il y a des valeurs comme ci-dessous<\/li><\/ul>\n\n\n\n

    Tout d\u2019abord nous allons cr\u00e9er l\u2019application rails<\/p>\n\n\n\n

    $ lance le nouveau scrape_data<\/em><\/strong><\/p>\n\n\n\n

    $ cd scrape_data<\/em><\/strong><\/p>\n\n\n\n

    Ensuite, nous g\u00e9n\u00e9rerons le module UploadCsv, ex\u00e9cuterons la commande ci-dessous<\/p>\n\n\n\n

    $ rails g \u00e9chafaudage UploadCsv g\u00e9n\u00e9r\u00e9_csv\u00a0:\u00a0cha\u00eene csv_file\u00a0:\u00a0cha\u00eene<\/em><\/strong><\/p>\n\n\n\n

    Cela cr\u00e9era tous les mod\u00e8les, contr\u00f4leurs et migrations requis pour csv_file<\/p>\n\n\n\n

    Ensuite, nous commencerons par t\u00e9l\u00e9charger le fichier dans DB<\/p>\n\n\n\n

    remplacez le code ci-dessous dans les fichiers  app\/views\/upload_csvs\/_form.html.erb<\/em><\/strong><\/p>\n\n\n\n

    nous avons ajout\u00e9 le code ci-dessous pour t\u00e9l\u00e9charger le fichier en vue<\/p>\n\n\n\n

    <%= form_with(mod\u00e8le : upload_csv, local : true) do |form| %><\/p>\n\n\n\n

      <% si upload_csv.errors.any\u00a0? %><\/p>\n\n\n\n

        <div id="”error_explanation”"><\/p>\n\n\n\n

          <h2><%= pluralize(upload_csv.errors.count, “error”) %> interdit l&#039;enregistrement de ce upload_csv :<\/h2><\/p>\n\n\n\n

         

      <\/p>\n\n\n\n

              <% upload_csv.errors.full_messages.each fait |message| %><\/p>\n\n\n\n

               

    • <%=message %><\/li><\/p>\n\n\n\n

              <% fin %><\/p>\n\n\n\n

            <\/ul><\/p>\n\n\n\n

          <\/div><\/p>\n\n\n\n

        <% fin %><\/p>\n\n\n\n

        <div class="”field”"><\/p>\n\n\n\n

          <%=form.label :csv_file %><\/p>\n\n\n\n

          <%=form.file_field :csv_file %><\/p>\n\n\n\n

        <\/div><\/p>\n\n\n\n

        <div class="”actions”"><\/p>\n\n\n\n

          <%=form.submit %><\/p>\n\n\n\n

        <\/div><\/p>\n\n\n\n

      <% fin %><\/p>\n\n\n\n

      Ensuite, nous ajouterons la gemme pour t\u00e9l\u00e9charger un fichier_csv<\/p>\n\n\n\n

      ajoutez la ligne ci-dessous dans le fichier gem<\/p>\n\n\n\n

      gemme 'carrierwave', '~> 2.0'<\/p>\n\n\n\n

      Installation du bundle $<\/em><\/strong><\/p>\n\n\n\n

      Ensuite, nous cr\u00e9erons le t\u00e9l\u00e9chargeur dans Carrierwave<\/p>\n\n\n\n

      Les rails $ g\u00e9n\u00e8rent un avatar de t\u00e9l\u00e9chargeur<\/em><\/strong><\/p>\n\n\n\n

      nous joindrons le t\u00e9l\u00e9chargeur dans le mod\u00e8le<\/p>\n\n\n\n

      app\/models\/upload_csv.rb<\/em><\/strong><\/p>\n\n\n\n

      classe UploadCsv <ApplicationRecord<\/p>\n\n\n\n

        mount_uploader\u00a0:csv_file, AvatarUploader<\/p>\n\n\n\n

      fin<\/p>\n\n\n\n

      avant d'aller plus loin, v\u00e9rifiez simplement que votre application fonctionne<\/p>\n\n\n\n

      ex\u00e9cuter les commandes ci-dessous<\/p>\n\n\n\n

      $ rake db: cr\u00e9er une base de donn\u00e9es: migrer<\/em><\/strong><\/p>\n\n\n\n

      mettre \u00e0 jour les itin\u00e9raires<\/p>\n\n\n\n

      Rails.application.routes.draw faire<\/p>\n\n\n\n

        ressources\u00a0:upload_csvs<\/p>\n\n\n\n

        racine 'upload_csvs#index'<\/p>\n\n\n\n

      fin<\/p>\n\n\n\n

      Rails $<\/em><\/strong><\/p>\n\n\n\n

      Ensuite, nous cr\u00e9erons un Job pour lire le fichier CSV et en extraire le lien<\/p>\n\n\n\n

      et le fichier g\u00e9n\u00e9r\u00e9 sera enregistr\u00e9 dans la colonne g\u00e9n\u00e9r\u00e9e_csv de ces enregistrements<\/p>\n\n\n\n

      pour g\u00e9n\u00e9rer le travail, nous ferons comme ci-dessous<\/p>\n\n\n\n

      Les rails $ g\u00e9n\u00e8rent du travail <\/em>g\u00e9n\u00e9rer_csv<\/em><\/strong><\/p>\n\n\n\n

      ajoutez la gemme ci-dessous et ex\u00e9cutez l'installation du bundle<\/p>\n\n\n\n

      joyau 'httpparty'<\/p>\n\n\n\n

      gemme 'nokogiri'<\/p>\n\n\n\n

      alors nous remplacerons le code par ci-dessous<\/p>\n\n\n\n

      classe GenrateCsvJob < ApplicationJob<\/p>\n\n\n\n

        queue_as\u00a0:\u00a0par d\u00e9faut<\/p>\n\n\n\n

        def effectuer (upload_csv)<\/p>\n\n\n\n

          trait\u00e9_csv (upload_csv)<\/p>\n\n\n\n

          file = Tempfile.open([\u201c#{Rails.root}\/public\/generated_csv\u201d, '.csv']) do |csv|<\/p>\n\n\n\n

            csv << %w[referal_link home_link count]<\/p>\n\n\n\n

            @new_array.each fait |new_array|<\/p>\n\n\n\n

              csv << nouveau_array<\/p>\n\n\n\n

            fin<\/p>\n\n\n\n

            fichier = \u00ab #{Rails.root}\/public\/product_data.csv \u00bb<\/p>\n\n\n\n

            en-t\u00eates = ['referal_link', 'home_link', 'count']<\/p>\n\n\n\n

            file = CSV.open(file, 'w', write_headers : true, headers : headers) do |writer|<\/p>\n\n\n\n

              @new_array.each fait |new_array|<\/p>\n\n\n\n

                \u00e9crivain << new_array<\/p>\n\n\n\n

              fin<\/p>\n\n\n\n

              upload_csv.update(generated_csv\u00a0: fichier)<\/p>\n\n\n\n

            fin<\/p>\n\n\n\n

          fin<\/p>\n\n\n\n

          NotificationMailer.send_csv(upload_csv).deliver_now\u00a0! si @new_array.present ?<\/p>\n\n\n\n

          #besoin de g\u00e9n\u00e9rer le mailer et de suivre les \u00e9tapes du mailer<\/p>\n\n\n\n

        fin<\/p>\n\n\n\n

        M\u00e9thode # pour obtenir le nombre de liens et les magasins dans le tableau<\/p>\n\n\n\n

        def trait\u00e9_csv (upload_csv)<\/p>\n\n\n\n

          @new_array = []<\/p>\n\n\n\n

          CSV.foreach(upload_csv.csv_file.path, headers\u00a0: true, header_converters\u00a0: :symbol) do |row|<\/p>\n\n\n\n

            row_map = rang\u00e9e.to_h<\/p>\n\n\n\n

            page = HTTParty.get(row_map[:refferal_link])<\/p>\n\n\n\n

            page_parse = Nokogiri :: HTML (page)<\/p>\n\n\n\n

            link_array = page_parse.css('a').map { |lien| lien['href'] }<\/p>\n\n\n\n

            link_array_group = link_array.group_by(&:lui-m\u00eame).map { |k, v| [k, longueur v.] }.to_h<\/p>\n\n\n\n

            @new_array.push([row_map[:refferal_link], row_map[:home_link], (link_array_group[row_map[:home_link]]).to_s])<\/p>\n\n\n\n

          fin<\/p>\n\n\n\n

        fin<\/p>\n\n\n\n

      fin<\/p>\n\n\n\n

      Ensuite, nous joindrons le travail after_create de upload_csvs et nous ajouterons la validation pour csv_file require<\/p>\n\n\n\n

       veuillez mettre \u00e0 jour le code de  app\/models\/upload_csv.rb<\/em><\/strong><\/p>\n\n\n\n

      classe UploadCsv <ApplicationRecord<\/p>\n\n\n\n

        mount_uploader\u00a0:csv_file, AvatarUploader<\/p>\n\n\n\n

        after_create\u00a0:processed_csv<\/p>\n\n\n\n

        def trait\u00e9_csv<\/p>\n\n\n\n

          GenrateCsvJob.perform_later(self)<\/p>\n\n\n\n

        fin<\/p>\n\n\n\n

      fin<\/p>\n\n\n\n

      puis v\u00e9rifiez apr\u00e8s avoir t\u00e9l\u00e9charg\u00e9 le fichier, votre fichier g\u00e9n\u00e9r\u00e9 par scrape sera mis \u00e0 jour, vous pouvez v\u00e9rifier le csv g\u00e9n\u00e9r\u00e9<\/p>\n\n\n\n

      \u00e0 l'int\u00e9rieur  \/scrape_data\/public\/product_data.csv<\/em><\/strong><\/p>\n\n\n\n

      nous pouvons envoyer par e-mail en utilisant les instructions ci-dessous<\/p>\n\n\n\n

      Nous allons d\u2019abord g\u00e9n\u00e9rer le mailer<\/p>\n\n\n\n

      Les rails $ g\u00e9n\u00e8rent le mailer NotificationMailer<\/em><\/strong><\/p>\n\n\n\n

      mettre \u00e0 jour le code de app\/mailers\/notification_mailer.rb<\/em><\/strong><\/p>\n\n\n\n

        def send_csv(upload_csv)<\/p>\n\n\n\n

          @greeting = 'Bonjour'<\/p>\n\n\n\n

          pi\u00e8ces jointes['parsed.csv'] = Fichier.read(upload_csv.generated_csv)<\/p>\n\n\n\n

          mail (\u00e0\u00a0:\u00a0\u00ab\u00a0sample@gmail.com\u00a0\u00bb, sujet\u00a0:\u00a0\u00ab\u00a0CSV est analys\u00e9 avec succ\u00e8s.\u00a0\u00bb)<\/p>\n\n\n\n

        fin<\/p>\n\n\n\n

      fin<\/p>\n\n\n\n

      veuillez configurer \u00e9galement la configuration du courrier config\/environments\/development.rb ou production.rb<\/em><\/strong><\/p>\n\n\n\n

      ajouter les lignes ci-dessous dans le fichier<\/p>\n\n\n\n

      config.action_mailer.default_url_options = { h\u00f4te\u00a0: 'https:\/\/sample-scrape.herokuapp.com\/' }<\/p>\n\n\n\n

      config.action_mailer.delivery_method = :smtp<\/p>\n\n\n\n

      config.action_mailer.smtp_settings = {<\/p>\n\n\n\n

        nom_utilisateur\u00a0: 'sample@gmail.com',<\/p>\n\n\n\n

        mot de passe\u00a0: '*******123456',<\/p>\n\n\n\n

        domaine\u00a0: 'gmail.com',<\/p>\n\n\n\n

        adresse : 'smtp.gmail.com',<\/p>\n\n\n\n

        port : '587',<\/p>\n\n\n\n

        authentification\u00a0:\u00a0plain<\/p>\n\n\n\n

      }<\/p>\n\n\n\n

      config.action_mailer.raise_delivery_errors = faux<\/p>\n\n\n\n

      et mettez \u00e9galement \u00e0 jour la vue app\/views\/notification_mailer\/send_csv.html.erb<\/em><\/strong><\/p>\n\n\n\n

      <h1>Le CSV a été traité, merci !<\/h1><\/p>\n\n\n\n

      <p><\/p>\n\n\n\n

        <%= @greeting %>, veuillez v\u00e9rifier la pi\u00e8ce jointe pour recevoir l'e-mail<\/p>\n\n\n\n

      <\/p><\/p>\n\n\n\n

      Merci !<\/p>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t

      \n\t\t\t\t\t\t
      \n\t\t\t\t\t
      \n\t\t\t
      \n\t\t\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t

      Abonnez-vous pour les derni\u00e8res mises \u00e0 jour<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t\t\t
      \t\t\t\t\t