Convertir un EDR à itératif: PySpark?

J'ai un CA dont je suis la création par le chargement d'un fichier texte et de prétraitement. Je ne veux pas pour les recueillir et de les enregistrer sur le disque ou la mémoire(ensemble de données), mais plutôt envie de passer à une autre fonction en python qui utilise des données l'un après l'autre à l'est de la forme de l'objet iterable.

Comment est-ce possible?

data =  sc.textFile('file.txt').map(lambda x: some_func(x))

an_iterable = data. ##  what should I do here to make it give me one element at a time?
def model1(an_iterable):
 for i in an_iterable:
  do_that(i)

model(an_iterable)

OriginalL'auteur pg2455 | 2015-09-24

  1. 16

    Je crois que ce que vous voulez, c'est toLocalIterator():

    OriginalL'auteur danf1024

  2. -2
    data =  sc.textFile('file.txt').map(lambda x: some_func(x))
# you need to call RDD method() then loop
for i in data.collect():
  print i
    Ce code va tirer tous les RDD contenu de la mémoire principale du pilote, qui va échouer sur toutes les grandes EDR. Le demandeur a demandé un Itérateur pour diffuser des éléments de l'un-à-un-temps dans le conducteur de la mémoire principale. Le RDD est .toLocalIterator() méthode est correcte: pas .collect().

    OriginalL'auteur Abdalla Issa Mbaideen