Python: moyen le plus rapide de traiter un gros fichier

J'ai plusieurs 3 go de fichiers délimités par des tabulations. Il y a 20 millions de lignes de chaque fichier. Toutes les lignes doivent être traitées de façon indépendante, aucun rapport entre les deux lignes.
Ma question est, ce sera plus rapide A. la Lecture ligne par ligne à l'aide de

with open() as infile: 
    for line in infile:

Ou B. la Lecture du fichier dans la mémoire en morceaux et de traitement, par exemple de 250 MO à un moment?

Le traitement n'est pas très compliqué, je suis juste en saisissant une valeur dans la colonne1 à List1, colonne2 à la liste 2 etc. Peut être nécessaire d'ajouter certaines valeurs de la colonne ensemble.

J'utilise python 2.7 sur une machine linux qui a 30 go de mémoire. Texte ASCII.

Toute façon à accélérer les choses en parallèle? Droit maintenant, je suis en utilisant l'ancienne méthode et le processus est très lent. Est l'utilisation de tout CSVReader module va l'aider?
Je n'ai pas à le faire en python, toute autre langue de base de données ou utiliser les idées sont les bienvenues.
Merci.

source d'informationauteur Reise45