2024 年 12 月熊本海賊王雕像巡禮
前言 從國中以來就很愛海賊王這作品到現在了,然後在 2024 年 12 月底時,…
70% 技術分享 - 30% 隨意分享
70% 技術分享 - 30% 隨意分享
前言 從國中以來就很愛海賊王這作品到現在了,然後在 2024 年 12 月底時,…
上一篇 我們成功在本 local 端的環境上用 docker 啟動 hadoop 集群然後也…
我們在 如何在 local 端跑 spark cluster 中的 Spark application 是用 St…
研究 再來就要來研究一下坊間有哪些 API 可以用了,因為我是 Mac 環境,程…
前言 從 2022 年開始嘗試台指期無限轉倉,我是聽股癌才學到可以用台指期每…
核心價值 (core value) 是指一個人的最基本、持久的信念,在面對周遭的事…
Spark 的特點之一就是 Unified,代表我們只有準備好 Spark cluster 的話,可以直接把 第一個 Spark Application 程式 run 在 cluster 上面,弄一套 Spark cluster 的選項有很多種,有錢的話直接找個雲服務商用他們的服務建立一個就搞定了,像是 AWS 的 EMR 或是 GCS 的 Dataproc,沒錢的話我們只能在 local 端以容器化的方式模擬 Spark cluster 出來了。
既然是重新熟悉 Spark,不免俗的要來試著自己寫寫 Spark application,以…
就我短短工作經驗來看,Spark 在台灣比較有熱度的時間是 2017 年 ~ 2018 …
Lambda Layer AWS Lambda 是能幫你執行程式,但不用在意 server 或 cluste…