-
scalaのREPLは使いにくい、ならsbtコンソールを使おう
2020/06/29
Python で正のラブレターを立ち上げるて色々やるっていうのは非常に簡単ですでほとんどのライブラリーが既に標準に組み込まれているのであまり意識しなくて済みます その感覚で行くとスカーラとかのそのレベ ...
-
spark-shellで初期ファイルの指定のしかた
2020/06/18
毎回spark-shellを立ち上げてimportするようなことを毎回しているなら、 例えばこんなscalaファイルを用意しておく vi sparkShellInit.scala import org ...
-
プロセスごとにload(どらくらい忙しいか)を確認する方法
2020/06/03
ポイントは pidをまずpsからgrepで取ってきて、 それをpidstatで確認しています for pid in `ps aux | grep "process-name-to-loo ...
-
Actorとは?をakka quickstartの例題から学ぶ
2020/06/01
早速ですが、 abstract class ActorRef { def ! (msg: Any)(implicit sender: ActorRef = Actor.noSender): Uni ...
-
scalaのcurryingとは
2020/05/27
こういうことができます scala> def kakezan(x: Int, y: Int) = x * y kakezan: (x: Int, y: Int)Int scala> kak ...
-
hadoopのリソースの割り当てと上限そしてsparkでdynamic allocationを試す
2020/05/26
hadoopクラスターの動き方 リソース(メモリがどれくらい割り当てられるか)は、absolute capacity例えば3%、そしてこれは最低保証割り当てメモリみたいな感じ と、User facto ...
-
sbtが全然わからない人向け入門
2020/05/23
こんにちは プロジェクトの中でも sbt を触ってきたのですが 分からない部分が結構多くある中使ってきたので 今日は怖いところがなくなるように勉強していきたいと思います。 Scalaの ...
-
git で特定のファイルの履歴をみたり、特定のwordを探したりする方法
2020/05/22 git
git で特定のファイルの履歴をみる方法 git log <file-path> gitk <file-path> git 特定のwordを探す方法 ...
-
go言語の使い所
2020/05/06
本家のホームページの動画見ると 歴史的背景がよくわかります。 goってどんな感じの言語かを理解する ・C言語開発者のRob Pikeさんが、C++の延長の先が見えにくいので新しく作ろっか、ということが ...
-
pysparkはなぜscalaのsparkより遅いのか
2020/04/07
簡単に行ってしまえば、sparkはJVMで動いています。 pythonのコードをJVMでは知らせるための、変換コストが一点。 同様のmapreduce的なものをpython上でやろうとして、それなりの ...