MySQL LOAD DATA INFILE: fonctionne, mais le terminateur de ligne imprévisible

MySQL a une belle CSV, une fonction d'importation LOAD DATA INFILE.

J'ai un grand jeu de données qui doit être importé à partir de CSV sur une base régulière, si cette fonctionnalité est exactement ce dont j'ai besoin. J'ai un travail script qui importe mes données parfaitement.

.....sauf.... Je ne connais pas à l'avance ce que la fin de terminaison de ligne sera.

Mon code SQL actuellement ressemble à quelque chose comme ceci:

LOAD DATA INFILE '{fileName}'
 INTO TABLE {importTable}
 FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
 LINES TERMINATED BY '\n'
 IGNORE 1 LINES
( {fieldList} );

Cela fonctionne très bien pour certains d'importer des fichiers.

Toutefois, l'importation de données provenant de sources multiples. Certains d'entre eux ont la \n terminator; d'autres ont \r\n. Je ne peux pas prédire que je vais avoir.

Est-il un moyen à l'aide de LOAD DATA INFILE à préciser que mes lignes peuvent être résiliés avec soit \n ou \r\n? Comment puis-je gérer cela?

source d'informationauteur SDC

10

Je venais de pré-traiter. Un mondial de la recherche/remplacer pour modifier \r\n \n fait à partir d'un outil de ligne de commande dans le cadre du processus d'importation doit être simple et performant.

Vous pouvez spécifier le séparateur de ligne '\n' et retirer caractère nul '\r' séparateurs si nécessaire à partir du dernier champ en cours de chargement.

Par exemple -

Supposons que nous avons le 'entries.txt". Le séparateur de ligne "\r\n', et seulement après la ligne ITEM2 | CLASS3 | DATE2 le séparateur est le caractère '\n':

COL1  | COL2   | COL3
ITEM1 | CLASS1 | DATE1
ITEM2 | CLASS3 | DATE2
ITEM3 | CLASS1 | DATE3
ITEM4 | CLASS2 | DATE4

Instruction CREATE TABLE:

CREATE TABLE entries(
  column1 VARCHAR(255) DEFAULT NULL,
  column2 VARCHAR(255) DEFAULT NULL,
  column3 VARCHAR(255) DEFAULT NULL
)

Notre LOAD DATA INFILE requête:

LOAD DATA INFILE 'entries.txt' INTO TABLE entries
FIELDS TERMINATED BY '|'
LINES TERMINATED BY '\n'
IGNORE 1 LINES
(column1, column2, @var)
SET column3 = TRIM(TRAILING '\r' FROM @var);

Résultats de l'exposition:

SELECT * FROM entries;
+---------+----------+---------+
| column1 | column2  | column3 |
+---------+----------+---------+
| ITEM1   |  CLASS1  |  DATE1  |
| ITEM2   |  CLASS3  |  DATE2  |
| ITEM3   |  CLASS1  |  DATE3  |
| ITEM4   |  CLASS2  |  DATE4  |
+---------+----------+---------+

3

J'en supposant que le vous avez besoin de renseignements par l'intermédiaire de mysql pas par n'importe quel langage de programmation.
Avant l'utilisation de charger des données à convertir le format de format windows \r\n ( CR LF ) si u ont notepad++. Et puis traiter la Charge de requêtes de données. Assurez-vous que le LINES TERMINATED BY '\r\n'

Edit:

Car les éditeurs sont souvent inappropriés pour la conversion des fichiers plus volumineux. Pour les gros fichiers, la commande suivante est souvent utilisée à la fois windows et linux

1) Pour convertir en format windows dans windows
```
TYPE [unix_file] | FIND "" /V > dos_file
```
2) Pour les convertir en format windows dans linux
```
unix2dos  [file]
```
Les autres commandes disponibles

Un windows format de fichier peut être converti en format Unix simplement en enlevant tous ASCII CR \r caractères par
tr -d '\r' < inputfile > outputfile
```
grep -PL $'\r\n' myfile.txt # show UNIX format  style file (LF terminated)
grep -Pl $'\r\n' myfile.txt # show WINDOS format style file (CRLF terminated)
```
Dans linux/unix le fichier de commande détecte le type de Fin De Ligne (EOL) utilisé. Pour le type de fichier peut être vérifiée à l'aide de cette commande
1

Vous pouvez aussi rechercher dans l'une de l'intégration de données en paquets. Talend Open Studio est très souple, l'entrée des données de routines. Par exemple, vous pouvez traiter le fichier avec un ensemble de séparateurs et attraper les rejette et les traiter d'une autre manière.
1

Si la première charge a 0 lignes, faire le même constat avec l'autre terminaison de ligne. Cela devrait être possible avec certains de comptage de base de la logique.

Au moins, il reste tous les dans SQL, et si ça marche la première fois que vous gagnez. Et pourrait causer moins de maux de tête que la ré-analyse de toutes les lignes et la suppression d'un caractère particulier.

Pourquoi ne pas d'abord il suffit de prendre un coup d'oeil à la façon dont les lignes de fin?

$handle = fopen('inputFile.csv', 'r');

$i = 0;
if ($handle) {
    while (($buffer = fgets($handle)) !== false) {

        $s =  substr($buffer,-50);

        echo $s; 
        echo preg_match('/\r/', $s) ? 'cr ' : '-- ';
        echo preg_match('/\n/', $s) ? 'nl<br>' : '--<br>';          

        if( $i++ > 5)
            break;

    }

    fclose($handle);
}

Vous pouvez utiliser des LIGNES à PARTIR de séparer l'habitude des fins de ligne dans le texte et une nouvelle ligne:

LOAD DATA LOCAL INFILE '/home/laptop/Downloads/field3-utf8.csv' 
IGNORE INTO TABLE Field FIELDS 
TERMINATED BY ';' 
OPTIONALLY ENCLOSED BY '^' 
LINES STARTING BY '^' 
TERMINATED BY '\r\n' 
(Id, Form_id, Name, Value)

Pour habitude de fichiers CSV avec " les entourant de caractères, il sera:

...
LINES STARTING BY '"' 
...

Vous devez vous connecter pour publier un commentaire.