Tag: spark-streaming

Spark Streaming est une extension de la base d’Apache Spark API qui permet aux haut-débit, à tolérance de pannes de traitement de flux de vivre des flux de données. À partir de la version 1.3.0, il prend en charge exactement-une fois que le traitement sémantique, même face à des échecs.

Limite de Kafka lots de taille lors de l'utilisation de Spark Streaming

java.lang.NoClassDefFoundError: org/apache/kafka/common/message/KafkaLZ4BlockOutputStream

IBM MQ rapport à Apache Kafka

comment définir et obtenir des variables statiques à partir d'étincelle?

Comment créer plusieurs SparkContexts dans une console

Vous avez besoin pour construire l'Allumage avant d'exécuter ce programme erreur lors de l'exécution bin/pyspark

Les requêtes avec les sources de streaming doit être exécutée avec writeStream.start();

Comment donner dépendant de pots d'étincelle soumettre en mode cluster

Comment puis-je faire (Spark1.6) saveAsTextFile pour ajouter le fichier existant?

Erreur: impossible de trouver ou charger la classe principale de org.test.spark.streamExample

Kafka consommateur Spark Streaming

La valeur de “l'étincelle.de fil.exécuteur testamentaire.memoryOverhead”?

Comment réparer Connection reset by peer message de apache spark?

Spark DataFrame: ne groupBy après orderBy maintenir l'ordre?

Spark Streaming + Kafka: SparkException: impossible de trouver le chef de file de compensations pour l'Ensemble

N'a pas pu analyser Maître de l'URL: 'étincelle:http://localhost:18080'

Comment convertir une Étincelle de données en continu dans Spark DataFrame

l'étincelle de la ssc.textFileStream n'est pas streamining tous les fichiers du répertoire

quelle est la différence exacte entre Étincelle Transformer en DStream et de la carte.?

Comment enregistrer la dernière compenser cette Étincelle consommée pour ZK ou Kafka et peut lire après le redémarrage

Comment utiliser Scala et Python dans un même projet Spark?

Condition dans la fonction de la carte

Supprimer les données d'étincelles du cache

Pourquoi le démarrage de StreamingContext échoue-t-il avec "IllegalArgumentException: l'exigence a échoué: aucune opération de sortie n'est enregistrée, donc rien à exécuter"?

SQL sur Spark Streaming

Utilisez le printemps avec Spark

java.lang.NoClassDefFoundError: org / apache / spark / streaming / twitter / TwitterUtils $ pendant l'exécution de TwitterPopularTags