tshine73

tshine73

  • 加入: 10 月 11, 2023
  • 文章: 64

如何用 docker 在本地端建立 Spark Cluster

Spark 的特點之一就是 Unified，代表我們只有準備好 Spark cluster 的話，可以直接把 第一個 Spark Application 程式 run 在 cluster 上面，弄一套 Spark cluster 的選項有很多種，有錢的話直接找個雲服務商用他們的服務建立一個就搞定了，像是 AWS 的 EMR 或是 GCS 的 Dataproc，沒錢的話我們只能在 local 端以容器化的方式模擬 Spark cluster 出來了。