Lire les gros fichier ligne par ligne avec des Flux de données ADO?

Je veux utiliser ADO Flux de lire les lignes d'un local gros fichier texte avec l'encodage UTF-8 j'ai donc essayer

Set objStream = CreateObject("ADODB.Stream")
objStream.Charset = "utf-8"
objStream.Type = 2
objStream.Open
objStream.LoadFromFile = strFile
objStream.LineSeparator = 10
Do Until objStream.EOS
    strLine = objStream.ReadText(-2)
Loop

Cependant, le résultat est que le script prend beaucoup de RAM et de CPU usages. Si il ya une façon de dire au script de ne pas charger tout le contenu du fichier dans la mémoire, mais il suffit de l'ouvrir et de le lire jusqu'à ce qu'il rencontre un séparateur de ligne?

si vous voulez commencer à la première lineseparator vous ne devriez pas en boucle jusqu'à l'EOS (fin des cours), je suis également pas sûr si vous avez changé votre lineseparator de la valeur par défaut CrLf à la Fl comme vous l'avez fait.

OriginalL'auteur Teiv | 2013-03-01

8

Que vous travaillez avec Stream objet, je pense qu'il est évident, cependant, .LoadFromFile de remplissage actuel de flux avec l'ensemble du contenu du fichier, et pas de n'importe quel cutomize option pour charger parial de données à partir d'un fichier.

Comme pour la lecture 1 ligne, vous avez déjà fait cela avec .ReadText(-2), (-2 = adReadLine).
```
Set objStream = CreateObject("ADODB.Stream")
objStream.Charset = "utf-8"
objStream.Type = 2
objStream.Open
'objStream.LoadFromFile = strFile ''I see a typo here
objStream.LoadFromFile strFile
objStream.LineSeparator = 10      ''that's Ok
'Do Until objStream.EOS           ''no need this
    strLine = objStream.ReadText(-2)
'Loop
objStream.Close ''add this though!
```
[MODIFIER] eh Bien, pour .LineSeparator vous pouvez utiliser seulement 3 constantes:
```
Constant Value Description

adCRLF   -1    Default. Carriage return line feed 
adLF     10    Line feed only 
adCR     13    Carriage return only 
```
Si vous avez besoin de casser votre Do..Loop à la lettre, comme .ReadText est le seul choix pour la lecture de flux de texte, vous pouvez l'utiliser en conjonction avec InStr fonction et Exit Do alors vous trouverez votre séparateur personnalisé.
```
Const cSeparator = "_" 'your custom separator
Dim strLine, strTotal, index
Do Until objStream.EOS
    strLine = objStream.ReadText(-2)
    index = InStr(1, strLine, cSeparator)
    If index <> 0 Then
        strTotal = strTotal & Left(strLine, index-1)
        Exit Do
    Else
        strTotal = strTotal & strLine
    End If
Loop
```
Peu de temps, c'est l'optimisation de l'ensemble que vous pouvez faire (ou au moins autant que je sache).

Merci pour votre correction mais ce que j'ai besoin est de faire une boucle sur chaque ligne du fichier de ne pas arriver juste de première ligne, et je veux optimiser le code afin de ne pas prendre grande quantité de mémoire.
Ok, probablement que j'ai mal compris votre question, je vais mettre à jour ma réponse ensuite.

OriginalL'auteur Panayot Karabakalov
2

Si vous regardez cet extrait de J. T. Roff est ADO livre, vous verrez que, en théorie, vous pouvez lire un fichier ligne par ligne (sans le charger complètement en mémoire). J'ai essayé d'utiliser le fichier: protocoll /dans le paramètre source, mais n'a pas réussi.

Donc, nous allons essayer une autre approche: Pour traiter l' .fichier txt comme un encodés en utf-8 trivial (une colonne) ADO table de base de données, vous avez besoin d'un schéma.fichier ini dans le répertoire source:
```
[linesutf8.txt]
ColNameHeader=False
CharacterSet=65001
Format=TabDelimited
Col1=SampleText CHAR WIDTH 100
```
Alors vous pouvez faire:
```
  Dim sTDir  : sTDir   = "M:/lib/kurs0705/testdata"
  Dim sFName : sFName  = "[linesutf8.txt]"
  Dim oDb    : Set oDb = CreateObject("ADODB.Connection")
  Dim sCs    : sCs     = Join(Array( _
          "Provider=MSDASQL" _
        , "Driver={Microsoft Text Driver (*.txt; *.csv)}" _
        , "DBQ=" + sTDir _
  ), ";")
  oDb.open sCs
  WScript.Stdin.Readline
  Dim oRs    : Set oRs = oDb.Execute("SELECT * FROM " & sFName)
  WScript.Stdin.Readline
  Do Until oRS.EOF
     WScript.Echo oRS.Fields(0).Value
     oRs.MoveNext
  Loop
  oRs.Close
  oDb.Close
```
Pour certains regard de fond ici.

Très intéressant, mais il semble que je ne peut pas tester correctement, ce que je reçois "Fournisseur ne peut pas être trouvé". Pouvez-vous expliquer avec un exemple de fichier "C:\lib\linesutf8.txt"? J'ai essayé toutes les variantes possibles pour sTDir, "C:/lib/linesutf8.txt", "C:/lib", "C:/lib/", "C:\lib\linesutf8.txt", "C:\lib", "C:\lib\" et d'échec. Merci
Si vous obtenez un "Fournisseur pas trouvé d'erreur", alors quelque chose est incorrect avec le "Provider=..." propriété ou votre ADO installer. sTDir est le dossier de la .fichier txt (et le schéma.fichier ini) résident dans.
Le chemin d'accès à mon fichier texte est c:\test.txt et c'était ma tentative de pastebin.com/r4Zm1N4d . J'ai ouvert l'invite de commande et de l'exécution du script mais je n'ai eu "Pas assez de mémoire disponible pour traiter cette commande" (80078008) sur la ligne 10, qui est "WScript.Stdin.Readline" . Avez-vous une idée sur cette erreur?
utilisez "\" pour le séparateur de chemin, la ligne 10 est le ".Ouvrir", est-il "travailler" avec un petit fichier?
Je pense que votre dernier commentaire est de user433531, droit? 😉

OriginalL'auteur Ekkehard.Horner

Vous devez vous connecter pour publier un commentaire.