Comment utiliser powershell pour réorganiser les colonnes CSV

Fichier d'entrée:

column1;column2;column3
data1a;data2a;data3a
data1b;data2b;data3b

But: le fichier de sortie avec la réorganisation des colonnes, dire

column1;column3;column2
...

Mis à JOUR Question:
Quelle est la bonne façon de l'utilisation de powershell pour résoudre ce problème.
Je suis conscient de l'existence de CSV applets de commande, mais elles ont des limites.
Notez que l'ordre des enregistrements n'a pas besoin d'être modifié, afin de chargement de l'ensemble de l'entrée/sortie de fichier dans la mémoire ne devrait pas être nécessaire.

source d'informationauteur Bernard Vander Beken

  1. 17

    Ici est la solution adaptée pour des millions d'enregistrements (en supposant que vos données n'ont pas intégré ';')

    $reader = [System.IO.File]::OpenText('data1.csv')
$writer = New-Object System.IO.StreamWriter 'data2.csv'
for(;;) {
    $line = $reader.ReadLine()
    if ($null -eq $line) {
        break
    }
    $data = $line.Split(";")
    $writer.WriteLine('{0};{1};{2}', $data[0], $data[2], $data[1])
}
$reader.Close()
$writer.Close()
  2. 15
    Import-CSV C:\Path\To\Original.csv | Select-Object Column1, Column3, Column2 | Export-CSV C:\Path\To\Newfile.csv
  3. 5

    C'est formidable que les gens sont venus avec leurs solutions basées sur l'état pur .NET. Cependant, je me battrais pour la simplicité, si possible. C'est pourquoi je upvoted vous tous 😉

    Pourquoi? J'ai essayé de générer 1 000 000 d'enregistrements et de les stocker dans CSV et puis réorganiser les colonnes.
    Générer le fichier csv a été dans mon cas, beaucoup plus exigeant, puis la réorganisation. Regardez les résultats.

    Il a fallu seulement 1,8 minute pour réorganiser les colonnes. Pour moi c'est assez décent résultat. Est-il ok pour moi? -> Oui, je n'ai pas besoin d'essayer de trouver la solution plus rapide, c'est assez bon -> sauvé mon temps pour d'autres choses intéressantes 😉

    # generate some csv; objects have several properties
measure-command { 
    1..1mb | 
    % { 
        $date = get-date
        New-Object PsObject -Property @{
            Column1=$date
            Column2=$_
            Column3=$date.Ticks/$_ 
            Hour = $date.Hour
            Minute = $date.Minute
            Second = $date.Second
            ReadableTime = $date.ToLongTimeString()
            ReadableDate = $date.ToLongDateString()
        }} | 
    Export-Csv d:\temp\exported.csv 
}

TotalMinutes      : 6,100025295

# reorder the columns
measure-command { 
    Import-Csv d:\temp\exported.csv | 
        Select ReadableTime, ReadableDate, Hour, Minute, Second, Column1, Column2, Column3 | 
        Export-Csv d:\temp\exported2.csv 
}

TotalMinutes      : 2,33151559833333
  4. 5

    Modifier: analyse comparative info ci-dessous.

    Je ne voudrais pas utiliser le Powershell csv applets de commande. Je voudrais utiliser System.IO.StreamReader ou Microsoft.VisualBasic.FileIO.TextFieldParser pour la lecture dans le fichier ligne par ligne, pour éviter de charger la totalité de la chose en mémoire, et je voudrais utiliser System.IO.StreamWriter pour l'écrire. Le TextFieldParser utilise en interne une StreamReadermais les poignées de l'analyse les champs sont délimités de sorte que vous n'avez pas à, ce qui rend très utile si le format CSV n'est pas simple (par exemple, a des caractères délimiteurs dans la cité des champs).

    Je voudrais également de ne pas le faire en Powershell, mais plutôt dans une .NET application, comme il le sera beaucoup plus rapide qu'un script Powershell même s'ils utilisent les mêmes objets.

    Ici C# pour une version simple, en supposant qu'aucune cité des champs et le codage ASCII:

    static void Main(){
    string source = @"D:\test.csv";
    string dest = @"D:\test2.csv";

    using ( var reader = new Microsoft.VisualBasic.FileIO.TextFieldParser( source, Encoding.ASCII ) ) {
        using ( var writer = new System.IO.StreamWriter( dest, false, Encoding.ASCII ) ) {
            reader.SetDelimiters( ";" );
            while ( !reader.EndOfData ) {
                var fields = reader.ReadFields();
                swap(fields, 1, 2);
                writer.WriteLine( string.Join( ";", fields ) );
            }
        }
    }
}

static void swap( string[] arr, int a, int b ) {
    string t = arr[ a ];
    arr[ a ] = arr[ b ];
    arr[ b ] = t;
}

    Voici le Powershell version:

    [void][reflection.assembly]::loadwithpartialname("Microsoft.VisualBasic")

$source = 'D:\test.csv'
$dest = 'D:\test2.csv'

$reader = new-object Microsoft.VisualBasic.FileIO.TextFieldParser $source
$writer = new-object System.IO.StreamWriter $dest

function swap($f,$a,$b){ $t = $f[$a]; $f[$a] = $f[$b]; $f[$b] = $t}

$reader.SetDelimiters(';')
while ( !$reader.EndOfData ) {
    $fields = $reader.ReadFields()
    swap $fields 1 2
    $writer.WriteLine([string]::join(';', $fields))
}

$reader.close()
$writer.close()

    Je comparés de ces deux contre un 3-colonne du fichier csv avec 10 000 000 de lignes. La version C# a pris 171.132 secondes (un peu moins de 3 minutes). Le Powershell version a pris 2 364 personnes.995 secondes (39 minutes et 25 secondes).

    Modifier: Pourquoi le mien prendre si sacrément long.

    La fonction de permutation est un énorme goulot d'étranglement dans mon Powershell version. Remplacer avec '{0};{1};{2}'de style de sortie comme Roman Kouzmine la réponse de couper vers le bas à moins de 9 minutes. Remplacement de TextFieldParser de plus de la moitié du reste à moins de 4 minutes.

    Toutefois, un .NET console de version de l'application de Romain Kouzmine la réponse a pris 20 secondes.

  5. 1

    J'aimerais faire de cette façon:

    $new_csv = new-object system.collections.ArrayList
get-content mycsv.csv |% {
$new_csv.add((($_ -split ";")[0,2,1]) -join ";") > $nul
}
$new_csv | out-file myreordered.csv