N'a pas pu analyser Maître de l'URL: 'étincelle:http://localhost:18080'

Quand j'essaie de l'exécuter mon code, il jette cette Exception:

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL:spark:http://localhost:18080

C'est mon code:

SparkConf conf = new SparkConf().setAppName("App_Name").setMaster("spark:http://localhost:18080").set("spark.ui.port","18080");
JavaStreamingContext ssc = new JavaStreamingContext(sc, new Duration(1000));
String[] filet=new String[]{"Obama","ISI"};

JavaReceiverInputDStream<Status> reciverStream=TwitterUtils.createStream(ssc,filet);
JavaDStream<String> statuses = reciverStream.map(new Function<Status, String>() {
     public String call(Status status) { return status.getText(); }
     }
      );
ssc.start();
ssc.awaitTermination();}}

Une idée de comment puis-je résoudre ce problème?

OriginalL'auteur Anas | 2014-12-02

  1. 8

    Le problème, c'est que vous spécifiez 2 schémas dans l'URL que vous avez passer à SparkConf.setMaster().

    La spark est le schéma, de sorte que vous n'avez pas besoin d'ajouter http après spark. Voir la javadoc de SparkConf.setMaster() pour plus d'exemples.

    Donc le maître de l'URL que vous devriez utiliser est "spark://localhost:18080". Modifier cette ligne:

    SparkConf conf = new SparkConf().setAppName("App_Name")
    .setMaster("spark://localhost:18080").set("spark.ui.port","18080");
    merci pour la réponse, quand je l'ai changer et l'exécuter à nouveau, il jette une autre Exception: impossible de se connecter à akka.tcp://sparkMaster@localhost:18080: akka.à distance.EndpointAssociationException: echec d'Association avec [akka.tcp://sparkMaster@localhost:18080]
    C'est probablement parce que vous n'avez pas commencé un serveur ou il est sur un port différent de celui que vous avez spécifié (18080).
    merci pour votre aide, quand je change peu dans le code, j'ai utilisé le port 8080 String host="LocalHost"; SparkConf conf = new SparkConf().setAppName("App_Name") .setMaster("local[4]").set("l'étincelle.le pilote.d'accueil",l'hôte).set("l'étincelle.le pilote.port","8080"); il me donner cette INFO: (INFO twitter4j.TwitterStreamImpl: Connexion établie) mais je ne peux toujours pas voir les tweets!!
    cela fonctionne pour moi: SparkConf conf = new SparkConf().setAppName("App_Name") .setMaster("l'étincelle://192.168.30.154:7077").set("l'étincelle.l'interface utilisateur.port","7077");

    OriginalL'auteur icza

  2. 3

    Le port standard pour le master est 7077 pas 18080. Peut-être que vous pouvez essayer 7077.

    OriginalL'auteur ruze