如何把 Spark run 在 local 端的 Hadoop + YARN 集群上 – 2
上一篇 我們成功在本 local 端的環境上用 …
70% 技術分享 - 30% 隨意分享
70% 技術分享 - 30% 隨意分享
上一篇 我們成功在本 local 端的環境上用 …
我們在 如何在 local 端跑 spark cluster …
Spark 的特點之一就是 Unified,代表我們只有準備好 Spark cluster 的話,可以直接把 第一個 Spark Application 程式 run 在 cluster 上面,弄一套 Spark cluster 的選項有很多種,有錢的話直接找個雲服務商用他們的服務建立一個就搞定了,像是 AWS 的 EMR 或是 GCS 的 Dataproc,沒錢的話我們只能在 local 端以容器化的方式模擬 Spark cluster 出來了。
既然是重新熟悉 Spark,不免俗的要來試著…
就我短短工作經驗來看,Spark 在台灣比較…