Comment définir la taille du segment de mémoire dans l'étincelle dans l'environnement Eclipse?

Je suis en train de lancer le simple code suivant à l'aide de l'étincelle au sein d'Eclipse:

import org.apache.spark.sql.SQLContext
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object jsonreader {  
  def main(args: Array[String]): Unit = {
    println("Hello, world!")
    val conf = new SparkConf()
      .setAppName("TestJsonReader")
      .setMaster("local")
      .set("spark.driver.memory", "3g") 
    val sc = new SparkContext(conf)

    val sqlContext = new SQLContext(sc)
    val df = sqlContext.read.format("json").load("text.json")

    df.printSchema()
    df.show   
  }
}

Cependant, j'obtiens les erreurs suivantes:

16/08/18 18:05:28 ERROR SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.

J'ai suivi les différents tutos comme celui-ci: Comment configurer Apache Spark Exécuteur de la mémoire. La plupart du temps, soit j'utilise --driver-memory option (pas possible avec Eclipse) ou par modifiying l'étincelle de la configuration, mais il n'existe pas de fichier correspondant.

Quelqu'un a une idée sur comment résoudre ce problème au sein d'Eclipse environnement?

OriginalL'auteur Yassir S | 2016-08-18