「開発」 一覧

こんにちは sparkをしばらく触ってきて、パフォーマンスの出すためのポイントやハマり ポイントを未然に防ぐチップを箇条書きします。 spark関連のチップ ・spark2.3以降ならKryoSeri ...

brew install maven maven compile　えい [ERROR] Source option 5 is no longer supported. Use 7 or later. ...

最新インストール brew cask install java verion11をインストール brew cask install java11 エラーがでたので brew cask install ...

表題は shardingとpartitioningの違いは？ ですが、サブタイトルは partitioningを正しく理解すると自ずとshardingが理解できる です。   シャーディング ...

こんにちは 背景 HDFSのデータをsparkでよみとってから、KVSにWriteするバッチが、メモリーリークを起こした バッチsparkはyarnで動かしているが、KVS今回はcouchbaseに、 ...

akkaの設定でlinger-timeoutというものがあります。 そこをいじることになった時のメモです。 本質的には通信がsocket(ファイル）によって実現されること そして、そのデータの送受信に ...

この記事を書き終えた後には HBaseをシステムに組み入れるかどうかの判断をするための知識 が備わっていることを目的として執筆します。   まずはHBaseとは大きくハイレベルで捉えると何や ...

  こんにちは これまでスルーしてきた、難しめの文法を 適当に読まずにきちんと理解したいと思います。 箇条書きに書いていきますので、参考になるものがあれば幸いです。 きちんと理解すると、ソー ...

ブログを書いていて こんな風に思いました。 WordPressのブラウザーエディターで編集していると 太文字にしたり、codingを貼り付けたり、linkをはったりと ctrl+b とか マウスをつか ...

この記事を読むと ・dockerのペーパードライバーが実際に手を動かして、すこし自信がつく ・hbaseが手元(local)で動かせれる dockerについてたくさんの学びがありました。 ・netwo ...