「開発」 一覧

Scala

scalaのREPLは使いにくい、ならsbtコンソールを使おう

2020/06/29  

Python で正のラブレターを立ち上げるて色々やるっていうのは非常に簡単ですでほとんどのライブラリーが既に標準に組み込まれているのであまり意識しなくて済みます その感覚で行くとスカーラとかのそのレベ ...

spark

spark-shellで初期ファイルの指定のしかた

2020/06/18  

毎回spark-shellを立ち上げてimportするようなことを毎回しているなら、 例えばこんなscalaファイルを用意しておく vi sparkShellInit.scala import org ...

bash

プロセスごとにload(どらくらい忙しいか)を確認する方法

2020/06/03  

  ポイントは pidをまずpsからgrepで取ってきて、 それをpidstatで確認しています for pid in `ps aux | grep "process-name-to-loo ...

parallel programming

Actorとは?をakka quickstartの例題から学ぶ

2020/06/01  

早速ですが、 abstract class ActorRef {   def ! (msg: Any)(implicit sender: ActorRef = Actor.noSender): Uni ...

Scala

scalaのcurryingとは

2020/05/27  

こういうことができます scala> def kakezan(x: Int, y: Int) = x * y kakezan: (x: Int, y: Int)Int scala> kak ...

spark

hadoopのリソースの割り当てと上限そしてsparkでdynamic allocationを試す

2020/05/26  

hadoopクラスターの動き方 リソース(メモリがどれくらい割り当てられるか)は、absolute capacity例えば3%、そしてこれは最低保証割り当てメモリみたいな感じ と、User facto ...

Scala

sbtが全然わからない人向け入門

2020/05/23  

こんにちは プロジェクトの中でも sbt を触ってきたのですが 分からない部分が結構多くある中使ってきたので 今日は怖いところがなくなるように勉強していきたいと思います。    Scalaの ...

git

git で特定のファイルの履歴をみたり、特定のwordを探したりする方法

2020/05/22    

  git で特定のファイルの履歴をみる方法 git log <file-path> gitk <file-path>   git 特定のwordを探す方法 ...

go

go言語の使い所

2020/05/06  

本家のホームページの動画見ると 歴史的背景がよくわかります。 goってどんな感じの言語かを理解する ・C言語開発者のRob Pikeさんが、C++の延長の先が見えにくいので新しく作ろっか、ということが ...

spark

pysparkはなぜscalaのsparkより遅いのか

2020/04/07  

簡単に行ってしまえば、sparkはJVMで動いています。 pythonのコードをJVMでは知らせるための、変換コストが一点。 同様のmapreduce的なものをpython上でやろうとして、それなりの ...

Copyright© CTOを目指す日記 , 2024 All Rights Reserved.