いいものをつくろう

CTOの日記

spark

spark よく出るエラー LiveListenerBus とRejectedExecutionException

投稿日:

 

LiveListenerBus

について

https://issues.apache.org/jira/browse/SPARK-12009

version 2.0.0でなおった、と言っていますが

最後の方になおってないとのコメントあり。

私もversion2.0.0以降でこのエラーがでています。

しかし、

spark session stop()後で、すべて実はjobが終わっている状態なので

実は問題ない。エラーとしてもハンドルされない。

executorのタイミングの問題出会ってエラーとしてはハンドリンぐされないもよう。

しかしながら、今後紛らわしいエラーは対応してほしい

spark作っているのは databricksさんですね。

 

https://community.cloudera.com/t5/Support-Questions/CDH-5-7-0-Spark-1-6-0-Has-numerous/td-p/44876

これまたたま〜にでる。

上記のListenBusとセットになっている気がする。

おそらく

stopの後ガヤガヤ、わちゃわちゃexecutorサイドでおこっており

一致時間たつと、ほりゃーっつってabortされてこのエラーが吐かれるのでは

勝手に推測

stopを読んだ後にexecutorにジョブ投げると

https://examples.javacodegeeks.com/core-java/util/concurrent/rejectedexecutionexception/java-util-concurrent-rejectedexecutionexception-how-to-solve-rejectedexecutionexception/

こんなエラーでるんだよ

と説明してくれているが

無論、自分のコード的には何も読んでいない

ということで

ListenBus同様、実害はないので

この程度の理解と考えを持った上で

無視する

 

以上です

 

-spark

Copyright© CTOの日記 , 2020 All Rights Reserved.