insérer plusieurs lignes via un tableau php dans mysql

Question

Je fais passer un grand ensemble de données dans une table mysql via php en utilisant des commandes d'insertion et je me demande s'il est possible d'insérer environ 1000 lignes à la fois via une requête autre que d'ajouter chaque valeur à la fin d'une longue chaîne de caractères et de l'exécuter ensuite. J'utilise le framework Codeigniter, donc ses fonctions sont également à ma disposition.

Answer 1

Assemblage d'un INSERT avec plusieurs lignes est beaucoup plus rapide dans MySQL qu'une seule instruction INSERT par ligne.

Cela dit, il semble que vous rencontriez des problèmes de gestion des chaînes de caractères en PHP, ce qui est en fait un problème d'algorithme, et non de langage. Fondamentalement, lorsque vous travaillez avec de grandes chaînes de caractères, vous voulez minimiser les copies inutiles. Principalement, cela signifie que vous voulez éviter la concaténation. La manière la plus rapide et la plus efficace en termes de mémoire pour construire une grande chaîne de caractères, par exemple pour insérer des centaines de lignes en une seule fois, est de tirer profit de la fonction implode() et l'affectation de tableaux.

$sql = array(); 
foreach( $data as $row ) {
    $sql[] = '("'.mysql_real_escape_string($row['text']).'", '.$row['category_id'].')';
}
mysql_query('INSERT INTO table (text, category) VALUES '.implode(',', $sql));

L'avantage de cette approche est que vous n'avez pas à copier et recopier l'instruction SQL que vous avez assemblé jusqu'à présent avec chaque concaténation ; à la place, PHP fait ceci une fois dans le implode() déclaration. Il s'agit d'une grand gagner.

Si vous avez beaucoup de colonnes à assembler, et qu'une ou plusieurs d'entre elles sont très longues, vous pouvez également construire une boucle interne pour faire la même chose et utiliser la fonction implode() pour affecter la clause values au tableau externe.

Answer 2

L'insertion multiple/insertion par lot est maintenant supportée par codeigniter. J'ai eu le même problème. Bien qu'il soit très tard pour répondre à la question, cela aidera quelqu'un. C'est pourquoi je réponds à cette question.

$data = array(
   array(
      'title' => 'My title' ,
      'name' => 'My Name' ,
      'date' => 'My date'
   ),
   array(
      'title' => 'Another title' ,
      'name' => 'Another Name' ,
      'date' => 'Another date'
   )
);

$this->db->insert_batch('mytable', $data);

// Produces: INSERT INTO mytable (title, name, date) VALUES ('My title', 'My name', 'My date'), ('Another title', 'Another name', 'Another date')

Answer 3

Vous pouvez préparer la requête pour insérer une ligne à l'aide de la classe mysqli_stmt, puis itérer sur le tableau de données. Quelque chose comme ça :

$stmt =  $db->stmt_init();
$stmt->prepare("INSERT INTO mytbl (fld1, fld2, fld3, fld4) VALUES(?, ?, ?, ?)");
foreach($myarray as $row)
{
    $stmt->bind_param('idsb', $row['fld1'], $row['fld2'], $row['fld3'], $row['fld4']);
    $stmt->execute();
}
$stmt->close();

Où 'idsb' sont les types de données que vous liez (int, double, string, blob).

Answer 4

Je sais qu'il s'agit d'une vieille requête, mais j'étais en train de lire et j'ai pensé ajouter ce que j'ai trouvé ailleurs :

mysqli en PHP 5 est un ojbjet avec quelques bonnes fonctions qui vous permettront d'accélérer le temps d'insertion pour la réponse ci-dessus :

$mysqli->autocommit(FALSE);
$mysqli->multi_query($sqlCombined);
$mysqli->autocommit(TRUE);

Désactiver autocommit lors de l'insertion de nombreuses lignes accélère considérablement l'insertion, donc désactivez-le, puis exécutez comme indiqué ci-dessus, ou créez simplement une chaîne (sqlCombined) qui est constituée de plusieurs instructions d'insertion séparées par des points-virgules et multi-query les traitera correctement.

J'espère que cela aidera quelqu'un à gagner du temps (recherche et insertion !).

R

Answer 5

Vous pouvez toujours utiliser la fonction de mysql LOAD DATA :

LOAD DATA LOCAL INFILE '/full/path/to/file/foo.csv' INTO TABLE `footable` FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n'

pour effectuer des insertions en vrac plutôt que d'utiliser un ensemble de INSERT déclarations.