Combinez plusieurs fichiers en un seul fichier

Pourquoi ne pas simplement utiliser le Stream.CopyTo() méthode?

private static void CombineMultipleFilesIntoSingleFile(string inputDirectoryPath, string inputFileNamePattern, string outputFilePath)
{
    string[] inputFilePaths = Directory.GetFiles(inputDirectoryPath, inputFileNamePattern);
    Console.WriteLine("Number of files: {0}.", inputFilePaths.Length);
    using (var outputStream = File.Create(outputFilePath))
    {
        foreach (var inputFilePath in inputFilePaths)
        {
            using (var inputStream = File.OpenRead(inputFilePath))
            {
                //Buffer size can be passed as the second argument.
                inputStream.CopyTo(outputStream);
            }
            Console.WriteLine("The file {0} has been processed.", inputFilePath);
        }
    }
}

Je voudrais utiliser un BlockingCollection de lecture vous permet de lire et d'écrire en même temps.

Clairement écrivez à un disque physique distinct pour éviter de matériel de contention.
Ce code permet de préserver l'ordre.

Lire va être plus rapide que d'écrire, donc pas besoin de lire en parallèle.

De nouveau, car lire est va être plus rapide limite la taille de la collection afin de lire n'obtient pas plus loin, d'écrire qu'il en a besoin.

Une tâche simple à lire le seul côté en parallèle, alors que l'écriture de la actuel a le problème des différentes tailles de fichier - écrire un fichier de petite taille est plus rapide que de lire un grand.

- Je utiliser ce modèle à lire et à analyser le texte sur T1 et puis l'insérer à SQL sur T2.

public void WriteFiles()
{
using (BlockingCollection<string> bc = new BlockingCollection<string>(10))
{
//play with 10 if you have several small files then a big file
//write can get ahead of read if not enough are queued
TextWriter tw = new StreamWriter(@"c:\temp\alltext.text", true);
//clearly you want to write to a different phyical disk 
//ideally write to solid state even if you move the files to regular disk when done
//Spin up a Task to populate the BlockingCollection
using (Task t1 = Task.Factory.StartNew(() =>
{
string dir = @"c:\temp\";
string fileText;      
int minSize = 100000; //play with this
StringBuilder sb = new StringBuilder(minSize);
string[] fileAry = Directory.GetFiles(dir, @"*.txt");
foreach (string fi in fileAry)
{
Debug.WriteLine("Add " + fi);
fileText = File.ReadAllText(fi);
//bc.Add(fi);  for testing just add filepath
if (fileText.Length > minSize)
{
if (sb.Length > 0)
{ 
bc.Add(sb.ToString());
sb.Clear();
}
bc.Add(fileText);  //could be really big so don't hit sb
}
else
{
sb.Append(fileText);
if (sb.Length > minSize)
{
bc.Add(sb.ToString());
sb.Clear();
}
}
}
if (sb.Length > 0)
{
bc.Add(sb.ToString());
sb.Clear();
}
bc.CompleteAdding();
}))
{
//Spin up a Task to consume the BlockingCollection
using (Task t2 = Task.Factory.StartNew(() =>
{
string text;
try
{
while (true)
{
text = bc.Take();
Debug.WriteLine("Take " + text);
tw.WriteLine(text);                  
}
}
catch (InvalidOperationException)
{
//An InvalidOperationException means that Take() was called on a completed collection
Debug.WriteLine("That's All!");
tw.Close();
tw.Dispose();
}
}))
Task.WaitAll(t1, t2);
}
}
}

BlockingCollection Classe

    //Binary File Copy
public static void mergeFiles(string strFileIn1, string strFileIn2, string strFileOut, out string strError)
{
strError = String.Empty;
try
{
using (FileStream streamIn1 = File.OpenRead(strFileIn1))
using (FileStream streamIn2 = File.OpenRead(strFileIn2))
using (FileStream writeStream = File.OpenWrite(strFileOut))
{
BinaryReader reader = new BinaryReader(streamIn1);
BinaryWriter writer = new BinaryWriter(writeStream);
//create a buffer to hold the bytes. Might be bigger.
byte[] buffer = new Byte[1024];
int bytesRead;
//while the read method returns bytes keep writing them to the output stream
while ((bytesRead =
streamIn1.Read(buffer, 0, 1024)) > 0)
{
writeStream.Write(buffer, 0, bytesRead);
}
while ((bytesRead =
streamIn2.Read(buffer, 0, 1024)) > 0)
{
writeStream.Write(buffer, 0, bytesRead);
}
}
}
catch (Exception ex)
{
strError = ex.Message;
}
}