Façon la plus robuste de lire un fichier ou un flux en utilisant Java (Pour éviter les attaques DoS)

Mise À Jour De Réponse

Vous voulez éviter toutes sortes d'attaques DOS (sur les lignes, sur la taille du fichier, etc). Mais à la fin de la fonction, vous êtes à essayer de convertir le fichier en entier dans un seul String!!! Supposons que vous limitez la ligne à 8 KO, mais ce qui se passe si quelqu'un vous envoie un fichier avec deux 8 KO lignes? La ligne de lecture de la première partie va passer, mais quand, finalement, vous mélangez le tout dans une seule chaîne, la Chaîne va s'étouffer toute la mémoire disponible.

Donc, puisque enfin vous convertir le tout en une seule Chaîne, la limitation de taille de ligne n'a pas d'importance, ni est sûr. Vous avez pour limiter la taille totale du fichier.

Deuxièmement, ce que vous tentons de faire, c'est que vous êtes en train de lire les données en morceaux. Si vous utilisez BufferedReader et de lire ligne par ligne. Mais ce que vous êtes en train de faire, et ce que vous voulez vraiment à la fin est d'une certaine façon de lire le fichier en pièce par pièce. Au lieu de lire une ligne à la fois, pourquoi ne pas plutôt de lire 2 KO à la fois?

BufferedReader par son nom - a un tampon à l'intérieur. Vous pouvez configurer la mémoire tampon. Imaginons que vous créez un BufferedReader avec la taille de la mémoire tampon de 2 KO:

BufferedReader reader = new BufferedReader(..., 2048);

Maintenant, si la InputStream que vous passez à BufferedReader a 100 KO de données, BufferedReader sera automatiquement lu de 2 KO à la fois. Donc, il va lire le flux 50 fois, 2 KO (50x2KB = 100 KO). De même, si vous créez BufferedReader avec un 10 KO taille de la mémoire tampon, il va lire l'entrée 10 fois (10x10KB = 100 KO).

BufferedReader déjà fait le travail de la lecture de votre fichier de morceau par morceau. Si vous ne voulez pas d'ajouter une couche supplémentaire de ligne-par-ligne au-dessus d'elle. Juste se concentrer sur le résultat final, si votre fichier à la fin est trop gros (> mémoire vive disponible) - comment allez-vous pour le convertir en un String à la fin?

Une meilleure façon, c'est juste passer les choses autour de lui comme un CharSequence. C'est ce que Android ne. Tout au long de l'Api Android, vous verrez qu'ils sont de retour CharSequence partout. Depuis StringBuilder est également une sous-classe de CharSequenceAndroid va utiliser à l'interne, soit un Stringou un StringBuilder ou certains autres optimisée de la chaîne de classe en fonction de la taille et de la nature de l'apport. Donc, vous pourriez plutôt retourner directement la StringBuilder objet lui-même une fois que vous avez tout lu, plutôt que de le convertir en un String. Ce serait plus sûr contre les gros volumes de données. StringBuilder maintient également le même concept de tampons à l'intérieur, et il en interne allouer plusieurs tampons pour les grandes chaînes, plutôt que d'une longue chaîne.

De manière globale:

• Limite de la taille globale du fichier puisque vous allez faire face à l'ensemble du contenu à un certain point. Oublier à propos de la limitation ou de la séparation des lignes
• Lire en morceaux

À l'aide d'Apache Commons IO, voici comment vous pourriez lire des données à partir d'un BoundedInputStream dans un StringBuilderen divisant par 2 KO blocs au lieu de lignes:

//import org.apache.commons.io.output.StringBuilderWriter;
//import org.apache.commons.io.input.BoundedInputStream;
//import org.apache.commons.io.IOUtils;

BoundedInputStream boundedInput = new BoundedInputStream(originalInput, <max-file-size>);
BufferedReader reader = new BufferedReader(new InputStreamReader(boundedInput), 2048);

StringBuilder output = new StringBuilder();
StringBuilderWriter writer = new StringBuilderWriter(output);

IOUtils.copy(reader, writer); //copies data from "reader" => "writer"
return output;

Réponse Originale À Cette Question

Utilisation BoundedInputStream de Apache Commons IO de la bibliothèque. Votre travail devient beaucoup plus facile.

Le code suivant à faire ce que vous voulez:

public static String getContentFromInputStream(InputStream inputStream) {
  inputStream = new BoundedInputStream(inputStream, <number-of-bytes>);
  //Rest code are all same

Vous suffit simplement de l'enveloppe de votre InputStream avec un BoundedInputStream et que vous spécifiez une taille maximale. BoundedInputStream prendra soin de limiter le lit jusqu'à la taille maximale.

Ou vous pouvez le faire lorsque vous êtes en train de créer le lecteur:

BufferedReader bufferedReader = new BufferedReader(
  new InputStreamReader(
    new BoundedInputStream(inputStream, <no-of-bytes>)
  )
);

Fondamentalement, ce que nous faisons ici, c'est que nous sommes en limitant la taille de lecture à l' InputStream couche elle-même, plutôt que de le faire que lors de la lecture des lignes. Si vous vous retrouvez avec un composant réutilisable comme BoundedInputStream qui limite la lecture à l'InputStream couche, et vous pouvez l'utiliser partout où vous voulez.

Edit: Ajout de la note de bas de page

Edit 2: Ajout de la mise à jour de la réponse basée sur les commentaires

au lieu de readLine utiliser la lecture qui se lit d'une quantité donnée de caractères.

dans chaque boucle de vérifier la quantité de données a été lu, si c'est plus d'une certaine quantité, plus que le maximum de l'apport attendu de l'arrêter et de retourner une erreur et de l'enregistrer.

J'ai fait face à un problème similaire lors de la copie d'un énorme fichier binaire (qui ne comporte généralement pas de caractère de saut de ligne). faire un readline() conduit à la lecture de tout fichier binaire en une seule chaîne provoquant OutOfMemory sur le Tas de l'espace.

Ici est une simple JDK alternative:

public static void main(String[] args) throws Exception
{
    byte[] array = new byte[1024];
    FileInputStream fis = new FileInputStream(new File("<Path-to-input-file>"));
    FileOutputStream fos = new FileOutputStream(new File("<Path-to-output-file>"));
    int length = 0;
    while((length = fis.read(array)) != -1)
    {
        fos.write(array, 0, length);
    }
    fis.close();
    fos.close();
}

Choses à noter:

• L'exemple ci-dessus copie le fichier à l'aide d'un tampon de 1K octets. Cependant, si vous faites cette copie sur le réseau, vous pouvez ajuster la taille de la mémoire tampon.

• Si vous souhaitez utiliser FileChannel ou des bibliothèques comme Commons IOassurez-vous que la mise en œuvre se résume à quelque chose comme ci-dessus

Il est classe EntityUtils sous Apache httpCore. Utiliser la méthode getString() de cette classe pour obtenir la Chaîne de caractères du contenu de la Réponse.