{"id":31591,"date":"2020-09-01T20:12:47","date_gmt":"2020-09-01T20:12:47","guid":{"rendered":"https:\/\/dev.railscarma.com\/data-scraping-in-rails-by-processing-csv\/"},"modified":"2021-06-04T10:22:38","modified_gmt":"2021-06-04T10:22:38","slug":"daten-scraping-in-rails-durch-verarbeitung-von-csv","status":"publish","type":"post","link":"https:\/\/www.railscarma.com\/de\/blog\/fachartikel\/daten-scraping-in-rails-durch-verarbeitung-von-csv\/","title":{"rendered":"Daten-Scraping in Rails durch Verarbeitung von CSV"},"content":{"rendered":"
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n

Die Ruby on Rails-Anwendung zum Scrapen des aus einer CSV-Datei hochgeladenen Links und<\/p>\n\n\n\n

Finden Sie das Vorkommen eines Links auf einer bestimmten Seite.<\/p>\n\n\n\n

In der Anwendung muss der Benutzer eine CSV-Datei und eine Liste der E-Mail-Adressen des Benutzers \u00fcbergeben, an die die analysierte CSV-Datei gesendet werden soll.<\/p>\n\n\n\n

In der CSV-Datei gibt es drei 2-Spalten:<\/p>\n\n\n\n

  • Empfehlungslink<\/li>
  • home_link<\/li>
  • und es gibt Werte wie unten<\/li><\/ul>\n\n\n\n

    Zun\u00e4chst erstellen wir die Rails-Anwendung<\/p>\n\n\n\n

    $ ver\u00f6ffentlicht neue scrape_data<\/em><\/strong><\/p>\n\n\n\n

    $ cd scrape_data<\/em><\/strong><\/p>\n\n\n\n

    Dann generieren wir das UploadCsv-Modul und f\u00fchren den folgenden Befehl aus<\/p>\n\n\n\n

    $-Schienen g-Ger\u00fcst UploadCsv generic_csv:string csv_file:string<\/em><\/strong><\/p>\n\n\n\n

    Dadurch werden alle erforderlichen Modelle, Controller und Migrationen f\u00fcr csv_file erstellt<\/p>\n\n\n\n

    Dann beginnen wir damit, die Datei zun\u00e4chst in die Datenbank hochzuladen<\/p>\n\n\n\n

    Ersetzen Sie den folgenden Code in den Dateien  app\/views\/upload_csvs\/_form.html.erb<\/em><\/strong><\/p>\n\n\n\n

    Wir haben den folgenden Code hinzugef\u00fcgt, um die Datei in View hochzuladen<\/p>\n\n\n\n

    <%= form_with(model: upload_csv, local: true) do |form| %><\/p>\n\n\n\n

      <% wenn upload_csv.errors.any? %><\/p>\n\n\n\n

        <div id="”error_explanation”"><\/p>\n\n\n\n

          <h2><%= pluralize(upload_csv.errors.count, “error”) %> Das Speichern dieser upload_csv-Datei wurde verboten:<\/h2><\/p>\n\n\n\n

         

      <\/p>\n\n\n\n

              <% upload_csv.errors.full_messages.each do |message| %><\/p>\n\n\n\n

               

    • <%= Nachricht %><\/li><\/p>\n\n\n\n

              <% Ende %><\/p>\n\n\n\n

            <\/ul><\/p>\n\n\n\n

          <\/div><\/p>\n\n\n\n

        <% Ende %><\/p>\n\n\n\n

        <div class="”field”"><\/p>\n\n\n\n

          <%= form.label :csv_file %><\/p>\n\n\n\n

          <%= form.file_field :csv_file %><\/p>\n\n\n\n

        <\/div><\/p>\n\n\n\n

        <div class="”actions”"><\/p>\n\n\n\n

          <%= form.submit %><\/p>\n\n\n\n

        <\/div><\/p>\n\n\n\n

      <% Ende %><\/p>\n\n\n\n

      Dann f\u00fcgen wir den Edelstein zum Hochladen einer CSV-Datei hinzu<\/p>\n\n\n\n

      F\u00fcgen Sie die folgende Zeile in die Gem-Datei ein<\/p>\n\n\n\n

      gem 'carrierwave', '~> 2.0'<\/p>\n\n\n\n

      $-Bundle-Installation<\/em><\/strong><\/p>\n\n\n\n

      Anschlie\u00dfend erstellen wir den Uploader in Carrierwave<\/p>\n\n\n\n

      $-Schienen generieren einen Uploader-Avatar<\/em><\/strong><\/p>\n\n\n\n

      Wir werden den Uploader im Modell anh\u00e4ngen<\/p>\n\n\n\n

      app\/models\/upload_csv.rb<\/em><\/strong><\/p>\n\n\n\n

      Klasse UploadCsv < ApplicationRecord<\/p>\n\n\n\n

        mount_uploader :csv_file, AvatarUploader<\/p>\n\n\n\n

      Ende<\/p>\n\n\n\n

      Bevor Sie fortfahren, \u00fcberpr\u00fcfen Sie einfach, ob Ihre Anwendung funktioniert<\/p>\n\n\n\n

      F\u00fchren Sie die folgenden Befehle aus<\/p>\n\n\n\n

      $ rake db:create db:migrate<\/em><\/strong><\/p>\n\n\n\n

      Aktualisieren Sie die Routen<\/p>\n\n\n\n

      Rails.application.routes.draw tun<\/p>\n\n\n\n

        Ressourcen :upload_csvs<\/p>\n\n\n\n

        root 'upload_csvs#index'<\/p>\n\n\n\n

      Ende<\/p>\n\n\n\n

      $ Schienen s<\/em><\/strong><\/p>\n\n\n\n

      Dann erstellen wir einen Job, um die CSV-Datei zu lesen und den Link daraus zu entfernen<\/p>\n\n\n\n

      Die generierte Datei wird in der Spalte \u201egenerated_csv\u201c dieser Datens\u00e4tze gespeichert<\/p>\n\n\n\n

      Um den Job zu generieren, werden wir wie folgt vorgehen<\/p>\n\n\n\n

      $-Schienen erzeugen Arbeit <\/em>generieren_csv<\/em><\/strong><\/p>\n\n\n\n

      F\u00fcgen Sie den folgenden Edelstein hinzu und f\u00fchren Sie die Bundle-Installation aus<\/p>\n\n\n\n

      gem 'httparty'<\/p>\n\n\n\n

      Edelstein \u201eNokogiri\u201c<\/p>\n\n\n\n

      Dann ersetzen wir den Code durch den folgenden<\/p>\n\n\n\n

      Klasse GenrateCsvJob < ApplicationJob<\/p>\n\n\n\n

        queue_as :default<\/p>\n\n\n\n

        def perform(upload_csv)<\/p>\n\n\n\n

          verarbeitete_csv(upload_csv)<\/p>\n\n\n\n

          file = Tempfile.open([\u201c#{Rails.root}\/public\/generated_csv\u201d, '.csv']) do |csv|<\/p>\n\n\n\n

            csv << %w[referal_link home_link count]<\/p>\n\n\n\n

            @new_array.each macht |new_array|<\/p>\n\n\n\n

              csv << neues_Array<\/p>\n\n\n\n

            Ende<\/p>\n\n\n\n

            file = \u201e#{Rails.root}\/public\/product_data.csv\u201c<\/p>\n\n\n\n

            headers = ['referal_link', 'home_link', 'count']<\/p>\n\n\n\n

            file = CSV.open(file, 'w', write_headers: true, headers: headers) do |writer|<\/p>\n\n\n\n

              @new_array.each macht |new_array|<\/p>\n\n\n\n

                Autor << new_array<\/p>\n\n\n\n

              Ende<\/p>\n\n\n\n

              upload_csv.update(generated_csv: Datei)<\/p>\n\n\n\n

            Ende<\/p>\n\n\n\n

          Ende<\/p>\n\n\n\n

          NotificationMailer.send_csv(upload_csv).deliver_now! wenn @new_array.present?<\/p>\n\n\n\n

          #Sie m\u00fcssen den Mailer erstellen und die Mailer-Schritte befolgen<\/p>\n\n\n\n

        Ende<\/p>\n\n\n\n

        # Methode zum Abrufen der Linkanzahl und der Speicherung im Array<\/p>\n\n\n\n

        def verarbeitet_csv(upload_csv)<\/p>\n\n\n\n

          @new_array = []<\/p>\n\n\n\n

          CSV.foreach(upload_csv.csv_file.path, headers: true, header_converters: :symbol) f\u00fchrt |row| aus<\/p>\n\n\n\n

            row_map = row.to_h<\/p>\n\n\n\n

            page = HTTParty.get(row_map[:refferal_link])<\/p>\n\n\n\n

            page_parse = Nokogiri::HTML(Seite)<\/p>\n\n\n\n

            link_array = page_parse.css('a').map { |link| link['href'] }<\/p>\n\n\n\n

            link_array_group = link_array.group_by(&:itself).map { |k, v| [k, v.length] }.to_h<\/p>\n\n\n\n

            @new_array.push([row_map[:refferal_link], row_map[:home_link], (link_array_group[row_map[:home_link]]).to_s])<\/p>\n\n\n\n

          Ende<\/p>\n\n\n\n

        Ende<\/p>\n\n\n\n

      Ende<\/p>\n\n\n\n

      Dann h\u00e4ngen wir den Job after_create von upload_csvs an und f\u00fcgen die Validierung f\u00fcr csv_file require hinzu<\/p>\n\n\n\n

       Bitte aktualisieren Sie den Code von  app\/models\/upload_csv.rb<\/em><\/strong><\/p>\n\n\n\n

      Klasse UploadCsv < ApplicationRecord<\/p>\n\n\n\n

        mount_uploader :csv_file, AvatarUploader<\/p>\n\n\n\n

        after_create :processed_csv<\/p>\n\n\n\n

        def verarbeitet_csv<\/p>\n\n\n\n

          GenrateCsvJob.perform_later(self)<\/p>\n\n\n\n

        Ende<\/p>\n\n\n\n

      Ende<\/p>\n\n\n\n

      \u00dcberpr\u00fcfen Sie dann nach dem Hochladen der Datei, ob Ihre Scrape-generierte Datei aktualisiert wird. Sie k\u00f6nnen die generierte CSV-Datei \u00fcberpr\u00fcfen<\/p>\n\n\n\n

      innen  \/scrape_data\/public\/product_data.csv<\/em><\/strong><\/p>\n\n\n\n

      Wir k\u00f6nnen per E-Mail senden, indem wir die folgenden Anweisungen verwenden<\/p>\n\n\n\n

      Zuerst erstellen wir den Mailer<\/p>\n\n\n\n

      $-Schienen generieren Mailer NotificationMailer<\/em><\/strong><\/p>\n\n\n\n

      Aktualisieren Sie den Code von app\/mailers\/notification_mailer.rb<\/em><\/strong><\/p>\n\n\n\n

        def send_csv(upload_csv)<\/p>\n\n\n\n

          @greeting = 'Hallo'<\/p>\n\n\n\n

          attachments['parsed.csv'] = File.read(upload_csv.generated_csv)<\/p>\n\n\n\n

          Mail (an: \u201esample@gmail.com\u201c, Betreff: \u201eCSV wurde erfolgreich analysiert.\u201c)<\/p>\n\n\n\n

        Ende<\/p>\n\n\n\n

      Ende<\/p>\n\n\n\n

      Bitte konfigurieren Sie auch die E-Mail-Konfiguration config\/environments\/development.rb oder Production.rb<\/em><\/strong><\/p>\n\n\n\n

      F\u00fcgen Sie der Datei die folgenden Zeilen hinzu<\/p>\n\n\n\n

      config.action_mailer.default_url_options = { host: 'https:\/\/sample-scrape.herokuapp.com\/' }<\/p>\n\n\n\n

      config.action_mailer.delivery_method = :smtp<\/p>\n\n\n\n

      config.action_mailer.smtp_settings = {<\/p>\n\n\n\n

        Benutzername: \u201esample@gmail.com\u201c,<\/p>\n\n\n\n

        Passwort: '*******123456',<\/p>\n\n\n\n

        Dom\u00e4ne: \u201egmail.com\u201c,<\/p>\n\n\n\n

        Adresse: \u201esmtp.gmail.com\u201c,<\/p>\n\n\n\n

        Port: '587',<\/p>\n\n\n\n

        Authentifizierung: :plain<\/p>\n\n\n\n

      }<\/p>\n\n\n\n

      config.action_mailer.raise_delivery_errors = false<\/p>\n\n\n\n

      und aktualisieren Sie auch die Ansicht app\/views\/notification_mailer\/send_csv.html.erb<\/em><\/strong><\/p>\n\n\n\n

      <h1>CSV wurde verarbeitet, Danke!<\/h1><\/p>\n\n\n\n

      <p><\/p>\n\n\n\n

        <%= @greeting %>, Bitte \u00fcberpr\u00fcfen Sie den Anhang, um die E-Mail zu erhalten<\/p>\n\n\n\n

      <\/p><\/p>\n\n\n\n

      Danke !<\/p>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t

      \n\t\t\t\t\t\t
      \n\t\t\t\t\t
      \n\t\t\t
      \n\t\t\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t

      Abonnieren Sie die neuesten Updates<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t\t\t
      \t\t\t\t\t