LiveListenerBus
について
https://issues.apache.org/jira/browse/SPARK-12009
version 2.0.0でなおった、と言っていますが
最後の方になおってないとのコメントあり。
私もversion2.0.0以降でこのエラーがでています。
しかし、
spark session stop()後で、すべて実はjobが終わっている状態なので
実は問題ない。エラーとしてもハンドルされない。
executorのタイミングの問題出会ってエラーとしてはハンドリンぐされないもよう。
しかしながら、今後紛らわしいエラーは対応してほしい
spark作っているのは databricksさんですね。
次
https://community.cloudera.com/t5/Support-Questions/CDH-5-7-0-Spark-1-6-0-Has-numerous/td-p/44876
これまたたま〜にでる。
上記のListenBusとセットになっている気がする。
おそらく
stopの後ガヤガヤ、わちゃわちゃexecutorサイドでおこっており
一致時間たつと、ほりゃーっつってabortされてこのエラーが吐かれるのでは
と
勝手に推測
stopを読んだ後にexecutorにジョブ投げると
こんなエラーでるんだよ
と説明してくれているが
無論、自分のコード的には何も読んでいない
ということで
ListenBus同様、実害はないので
この程度の理解と考えを持った上で
無視する
以上です