Ruby on Rails - Importation de données depuis un fichier CSV

Question

Je voudrais importer des données d'un fichier CSV dans une table de base de données existante. Je ne veux pas sauvegarder le fichier CSV, mais simplement en extraire les données et les placer dans la table existante. J'utilise Ruby 1.9.2 et Rails 3.

C'est ma table :

create_table "mouldings", :force => true do |t|
  t.string   "suppliers_code"
  t.datetime "created_at"
  t.datetime "updated_at"
  t.string   "name"
  t.integer  "supplier_id"
  t.decimal  "length",         :precision => 3, :scale => 2
  t.decimal  "cost",           :precision => 4, :scale => 2
  t.integer  "width"
  t.integer  "depth"
end

Pouvez-vous me donner un code pour me montrer la meilleure façon de le faire, merci.

Answer 1

require 'csv'    

csv_text = File.read('...')
csv = CSV.parse(csv_text, :headers => true)
csv.each do |row|
  Moulding.create!(row.to_hash)
end

Answer 2

Version plus simple de la réponse de yfeldblum, qui est plus simple et fonctionne bien aussi avec les gros fichiers :

require 'csv'    

CSV.foreach(filename, headers: true) do |row|
  Moulding.create!(row.to_hash)
end

Pas besoin de with_indifferent_access o symbolize_keys et il n'est pas nécessaire de lire d'abord le fichier dans une chaîne de caractères.

Il ne garde pas tout le fichier en mémoire en même temps, mais le lit ligne par ligne et crée un moulage par ligne.

Answer 3

Le site smarter_csv gem a été spécialement créé pour ce cas d'utilisation : lire les données d'un fichier CSV et créer rapidement des entrées de base de données.

  require 'smarter_csv'
  options = {}
  SmarterCSV.process('input_file.csv', options) do |chunk|
    chunk.each do |data_hash|
      Moulding.create!( data_hash )
    end
  end

Vous pouvez utiliser l'option chunk_size pour lire N lignes csv à la fois, puis utiliser Resque dans la boucle interne pour générer des tâches qui créeront les nouveaux enregistrements, plutôt que de les créer immédiatement - de cette façon, vous pouvez répartir la charge de la génération des entrées sur plusieurs travailleurs.

Voir aussi : https://github.com/tilo/smarter_csv

Answer 4

Vous pouvez essayer Upsert :

require 'upsert' # add this to your Gemfile
require 'csv'    

u = Upsert.new Moulding.connection, Moulding.table_name
CSV.foreach(file, headers: true) do |row|
  selector = { name: row['name'] } # this treats "name" as the primary key and prevents the creation of duplicates by name
  setter = row.to_hash
  u.row selector, setter
end

Si c'est ce que vous voulez, vous pouvez également envisager de vous débarrasser de la clé primaire à incrémentation automatique de la table et de définir la clé primaire comme suit name . Sinon, s'il existe une combinaison d'attributs qui forment une clé primaire, utilisez-la comme sélecteur. Aucun index n'est nécessaire, cela ne fera qu'accélérer le processus.

Answer 5

Cela peut aider. Il contient également des exemples de code :

http://csv-mapper.rubyforge.org/

Ou pour une tâche de râteau pour avoir fait la même chose :

http://erikonrails.snowedin.net/?p=212