spark-shellで初期ファイルの指定のしかた

毎回spark-shellを立ち上げてimportするようなことを毎回しているなら、

例えばこんなscalaファイルを用意しておく

vi sparkShellInit.scala
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._
import org.apache.spark.sql._
import org.apache.spark.storage.StorageLevel
import java.io.File
import scala.collection.JavaConversions._

val sparkSession = SparkSession.builder().
        appName("my-spark-shell").
        enableHiveSupport().
        getOrCreate()

そしてそのファイルを指定する

spark-shell -i ~/sparkShellInit.scala --master yarn  --num-executors 10 --driver-memory 8g --executor-memory 8g

すると、

指定したファイルの中身が初期化時に実行されるので楽です。

以上です