「spark」 一覧

毎回spark-shellを立ち上げてimportするようなことを毎回しているなら、 例えばこんなscalaファイルを用意しておく vi sparkShellInit.scala import org ...

hadoopクラスターの動き方 リソース(メモリがどれくらい割り当てられるか)は、absolute capacity例えば3％、そしてこれは最低保証割り当てメモリみたいな感じ と、User facto ...

簡単に行ってしまえば、sparkはJVMで動いています。 pythonのコードをJVMでは知らせるための、変換コストが一点。 同様のmapreduce的なものをpython上でやろうとして、それなりの ...

こんにちは sparkをしばらく触ってきて、パフォーマンスの出すためのポイントやハマり ポイントを未然に防ぐチップを箇条書きします。 spark関連のチップ ・spark2.3以降ならKryoSeri ...

こんにちは トレーニングデータにnull値が含まれれると 以下のようなエラーでnull値がありますよと、処理が落ちます。 Caused by: org.apache.spark.SparkExcept ...

こんにちは sparkのjoinのとある挙動をしらなかった為、5時間くらいデバッグしました。 知らない方も多いと思いますのでまとめました。   きっかけはjoinの結果がなんか、おかしい。そ ...

  LiveListenerBus について https://issues.apache.org/jira/browse/SPARK-12009 version 2.0.0でなおった、と言っ ...