Télécharger le fichier CSV SQL server

La meilleure façon que j'ai trouvée pour l'importation de gros fichiers CSV dans SQL Server en utilisant SqlBulkCopy avec IDataReader mise en œuvre. La bonne chose à ce sujet est que vous ne lisez pas l'intégralité du fichier en mémoire (ce qui est le cas à l'aide de DataTable approche) et vous pouvez contrôler la taille du lot, ce qui est envoyé à SQL Server. La mauvaise chose à propos de ce que vous avez à mettre en œuvre IDataReader qui est l'une des plus longues MS interfaces que j'ai vu.

J'ai écrit un package nuget qui fait le tour pour vous. Il utilise le génial CsvHelper paquet il y a donc très peu de config requise. Le scénario le plus simple serait ressembler à ceci:

//Instantiate the reader, providing the list of columns which matches 1 to 1 the data table structure.
var dataReader = new CsvDataReader(filePath,
    new List<TypeCode>(5)
    {
        TypeCode.String,
        TypeCode.Decimal,
        TypeCode.String,
        TypeCode.Boolean,
        TypeCode.DateTime
    });

bulkCopyUtility.BulkCopy("TableName", dataReader);

Il ya aussi des options de configuration supplémentaires pour des scénarios plus complexes (flexible colonne de cartographie, d'autres statique de la colonne des valeurs qui ne sont pas présents dans le fichier csv, la transformation de la valeur).
Si vous êtes intéressés, le projet est sur Github et est disponible en package nuget.

Pour référence, voici comment utiliser SqlBulkCopy avec IDataReader:

public void BulkCopy(string tableName, IDataReader dataReader, Action<SqlBulkCopy>  configureSqlBulkCopy)
{
    using (SqlConnection dbConnection = new SqlConnection(connectionString))
    {
        dbConnection.Open();

        using (SqlBulkCopy bulkCopy = new SqlBulkCopy(dbConnection))
        {
            bulkCopy.BatchSize = 3000; //Data will be sent to SQL Server in batches of this size
            bulkCopy.EnableStreaming = true;
            bulkCopy.DestinationTableName = tableName;

            //This will ensure mapping based on names rather than column position
            foreach (DataColumn column in dataReader.GetSchemaTable().Columns)
            {
                bulkCopy.ColumnMappings.Add(column.ColumnName, column.ColumnName);
            }

            //If additional, custom configuration is required, invoke the action
            configureSqlBulkCopy?.Invoke(bulkCopy);

            try
            {
                //Write from the source to the destination.
                bulkCopy.WriteToServer(dataReader);
            }
            finally
            {
                dataReader.Close();
            }
        }
    }
}

Utilisation Système.Les données.SqlClient.SqlBulkCopy classe pour insérer des données dans des tables Sql.
L'utilisation de cette classe vous avez également besoin de les convertir en données CVS à DataTable, voir ici l'une des manières.

Cette technique utilise la SQLBulkCopy() et de l'installation, mais ne lit pas l'intégralité du fichier en mémoire.

Le truc, c'est qu'elle met en œuvre un IDataReader classe pour lire la .fichier csv.

https://www.codeproject.com/Tips/1029831/Fast-and-Simple-IDataReader-Implementation-to-Read

    private void GetDataTabletFromCSVFile(string fileName)
{
DataTable dt = new DataTable();
//dt.TableName = fileName;
try
{
using (TextFieldParser csvReader = new TextFieldParser(fileName))
{
csvReader.SetDelimiters(new string[] { "," });
csvReader.HasFieldsEnclosedInQuotes = true;
string[] colFields = csvReader.ReadFields();
//foreach (string column in colFields)
//{
//   DataColumn datecolumn = new DataColumn(column);
//   datecolumn.AllowDBNull = true;
//   dt.Columns.Add(datecolumn);
//}
dt.Columns.AddRange(new DataColumn[8] {
new DataColumn("Symbol", typeof(string)),
new DataColumn("ISIN", typeof(string)),
new DataColumn("Company", typeof(string)),
new DataColumn("FirstListingDate", typeof(string)),
new DataColumn("FaceValue", typeof(string)),
new DataColumn("PaidUpValue", typeof(string)),
new DataColumn("MarketLot",typeof(string)),
new DataColumn("industry",typeof(string))
});
while (!csvReader.EndOfData)
{
string[] fieldData = csvReader.ReadFields();
//Making empty value as null
for (int i = 0; i < fieldData.Length; i++)
{
if (fieldData[i] == "")
{
fieldData[i] = null;
}
}
dt.Rows.Add(fieldData);
}
var builder = new ConfigurationBuilder()
.SetBasePath(Path.GetDirectoryName(System.Reflection.Assembly.GetExecutingAssembly().Location))
.AddJsonFile("appsettings.json");
var configuration = builder.Build();
string DBconnection = configuration.GetSection("ConnectionString").Value;
using (SqlConnection dbConnection = new SqlConnection(DBconnection))
{
dbConnection.Open();
using (SqlBulkCopy s = new SqlBulkCopy(dbConnection))
{
s.DestinationTableName = "Static.dbo.Securitiesinfo";
foreach (var column in dt.Columns)
s.ColumnMappings.Add(column.ToString(), column.ToString());
s.WriteToServer(dt);
}
}
}
}
catch (Exception ex)
{
var x = ex;
}
}