Comment faire la boucle dans pentaho pour obtenir les noms de fichiers?

J'ai 100 000 fichiers.
Je veux obtenir le nom de ces noms de fichier et les mettre dans la base de données,
Je dois faire comme ceci

  1. obtenir 10 des noms de fichiers;
  2. mise à jour/insérer le nom dans la base de données; et
  3. déplacer ces 10 fichiers dans un autre répertoire;
    et la boucle ces trois étapes jusqu'aucun fichier n'est trouvé.

Est-ce possible?

pourquoi avez-vous besoin de le faire en 10 fichier de morceaux? vous devriez vraiment il suffit de charger le tout dans le répertoire en une étape et processus de là. de plus, les boucles ne sont pas quelque chose que vous voulez créer dans la bouilloire.
Si je le charger directement à partir du répertoire sa ne fonctionne pas sa à cours de mémoire même si j'augmente MAXSIZE sa montre l'erreur

OriginalL'auteur Cynosure | 2012-12-07

  1. 6

    Je suis à la fixation d'un exemple (je l'ai testé avec ~400 fichiers de texte sur bouilloire 4.3.).

    la transformation.ktr
    travail.kjb

    À la fois de la transformation et de l'emploi contiennent des notes détaillées sur ce jeu et où.

    • Transformation.ktr Il lit les 10 premiers noms de fichiers à partir du dossier source, crée chemin d'accès de destination pour le fichier de mouvement. Il génère des noms de fichiers à insérer/mettre à jour (j'ai utilisé du mannequin étape comme un espace réservé) et utilise des "Copier des lignes du jeu de résultats" à la sortie de source et les chemins de destination pour le fichier de mouvement.
    • travail.kjb Tous les le bouclage se fait dans ce travail. Il s'exécute "la transformation.ktr" (ce qui ne veut insérer/mettre à jour pour 10 fichiers), puis de les déplacer de 10 fichiers vers un dossier de destination. Après cela, il vérifie si il n'y a plus de fichiers dans le dossier source. Si il y est, le processus est répété, si non, il déclare succès.
    Si cela fonctionne pour vous, vous pourriez voulez marquer ma réponse que answerd 🙂 Merci à vous.

    OriginalL'auteur Milos