データサイエンス

spark ML pipelineの基礎

投稿日:

 

pipelineというのは、DAGでジョブを管理する、クラスなんですが、普通は一直線の序列で扱うことがほどんどかと。

pipelineというのはtransformerとestimatorの組合せです

https://spark.apache.org/docs/latest/ml-pipeline.html

 

crossvalidationやhyperparameterチューニングようのラッパー(api)も用意されているとのこと。

https://spark.apache.org/docs/latest/ml-tuning.html

 

以上です

-データサイエンス

Copyright© CTOを目指す日記 , 2024 All Rights Reserved.