Data Engineer 常用指令集

決定來寫一篇我在工作上常用的指令集，未來想到什麼會持續的更新此篇文章。

AWS

S3

sync

Syncs directories and S3 prefixes. Recursively copies new and updated files from the source directory to the destination. Only creates folders in the destination if they contain one or more files.

同步資料夾，但不包含刪除檔案。

aws s3 sync ./developer s3://bucket/developer

cp

常用的複製指令

copy 資料夾到另一個 s3

aws s3 cp s3://bucket_old/developer s3://bucket/developer --recursive

Mac OS

建立捷徑

當你需要在 local 端啟動 MWAA 或 cloud composer 時，就可以在對應的 dags 資料夾建立捷徑，因此你就可以在原有的 repository 繼續開發了。

ln -s {來源資料夾} {欲建立捷徑的資料夾}

ln -s repository/my_project/dags ./composer/my_local_composer/dags