Clik here to view.
如何取得上傳進度條 progress bar 相關數據及實作 Graceful Shutdown
由於專案需求，需要開發一套 CLI 工具，讓 User 可以透過 CLI 上傳大檔案來進行 Model Training，請參考上面的流程圖。首先第一步驟會先跟 API Server 驗證使用者，驗證完畢就開始上傳資料到 AWS S3 或其他 Storage 空間，除了上傳過程需要在 CLI 顯示目前進度，另外也需要將目前上傳的進度 (速度, 進度及剩餘時間) 都上傳到 API...
View ArticleClik here to view.
MongoDB 效能調校紀錄
最近剛好在實作 Prometheus + Grafana 的時候，對 MongoDB 做了容器 CPU 使用率 (container_cpu_usage_seconds_total) 的監控，Metrics 寫法如下: sum( rate(container_cpu_usage_seconds_total{name!~"(^$|^0_.*)"}[1m])) by (name) 從上面的...
View ArticleClik here to view.
使用 RESTful API 串接 Open Policy Agent
上一篇『初探 Open Policy Agent 實作 RBAC (Role-based access control) 權限控管』介紹了如何透過 Go 語言直接坎入 Open Policy Agent (簡稱 OPA)設定檔，並透過 Go 套件直接查詢使用者權限。由於目前 OPA 只有支援三種模式串接各種不同的 Application，一種是透過 Go...
View ArticleClik here to view.
初探 Open Policy Agent 實作 RBAC (Role-based access control) 權限控管
最近公司內部多個專案都需要用到 RBAC (Role-based access control) 權限控管，所以決定來找尋 Go 語言的解決方案及套件，在 Go 語言比較常聽到的就是 Casbin，大家眾所皆知，但是隨著專案變大，系統複雜性更高，希望未來可以打造一套可擴充性的權限機制，故網路上看到一篇 ladon vs casbin 的介紹文章，文章留言有中國開發者對於 Casbin...
View ArticleClik here to view.
為什麼 signal.Notify 要使用 buffered channel
如果不了解什麼是 buffer 或 unbuffer channel 的朋友們，可以參考這篇文章先做初步了解，本文要跟大家介紹為什麼 signal.Notify 要使用 buffered channel 才可以，底下先來看看如何使用 signal.Notify，當我們要做 graceful shutdown 都會使用到這功能，想要正常關閉服務或連線，透過 signal...
View ArticleClik here to view.
即時效能分析工具 Pyroscope
當網站上線後，流量增加或短暫功能故障，都會造成使用者體驗相當不好，而這時該怎麼快速找到效能的瓶頸呢？通常 CPU 衝到 100% 時，有時候也蠻難複製及找出關鍵問題點。本篇會介紹一套工具叫 pyroscope，讓開發者可以快速找到效能瓶頸的程式碼。之前也寫了相關的效能瓶頸文章，可以參考看看『Go 語言用 pprof 找出程式碼效能瓶頸』或『善用 Go...
View ArticleClik here to view.
兩台電腦透過 croc 工具來傳送檔案 (簡單, 加密, 快速)
兩台電腦之間該如何傳送檔案，其實方法有超多種的，像是 FTP 或透過 SSH 方式來傳送檔案，但是這些方法步驟都有點複雜，FTP 需要架設 FTP 服務，SSH 要學習 SCP 指令，那有沒有更好的方式從單一電腦點對點傳送檔案到另一台呢？傳送過程需要快速又要安全，本篇介紹一套用 Go 語言寫的工具叫 croc，詳細的介紹可以參考看看作者的 Blog 介紹，此工具有底下功能及優勢。 影片教學...
View ArticleClik here to view.
搶救 Terraform State 檔案
近期其中一個專案使用 Terraform 來管理 AWS 雲平台，初期預計只有我一個人在使用 Terraform，所以就沒有將 Backend State 放在 AWS S3 進行備份管理，這個粗心大意讓我花了大半時間來搶救 State (.tfstate) 檔案，而搶救過程也是蠻順利的，只是需要花時間用 terraform import 指令將所有的 State 狀態全部轉回來一次，當然不是每個...
View ArticleClik here to view.
初探 Pulumi 上傳靜態網站到 AWS S3 (二)
上一篇『初探 Pulumi 上傳靜態網站到 AWS S3 (一)』主要介紹 Pulumi 基本使用方式，而本篇會延續上一篇教學把剩下的章節教完，底下是本篇會涵蓋的章節內容: 設定 Pulumi Stack 環境變數 建立第二個 Pulumi Stack 環境 刪除 Pulumi Stack 環境 讓開發者可以自由新增各種不同環境，像是 Testing 或 Develop...
View ArticleClik here to view.
初探 Pulumi 上傳靜態網站到 AWS S3 (一)
上一篇作者提到了兩套 Infrastructure as Code 工具，分別是 Terraform 跟 Pulumi，大家對於前者可能會是比較熟悉，那本篇用一個實際案例『建立 AWS S3 並上傳靜態網站』來跟大家分享如何從無開始一步一步使用 Pulumi。本教學使用的程式碼都可以在 GitHub 上面瀏覽及下載。教學會拆成七個章節: 建立 Pulumi 新專案 設定 AWS 環境 初始化...
View ArticleClik here to view.
初探 Infrastructure as Code 工具 Terraform vs Pulumi
想必大家對於 Infrastructure as Code 簡稱 (IaC) 並不陌生，而這個名詞在很早以前就很火熱，本篇最主要介紹為什麼我們要導入 IaC，以及該選擇哪些工具來管理雲平台 (AWS, GCP, Azure 等…)。觀看現在很火紅的 Terraform 及後起之秀 Pulumi 是大家可以作為選擇的參考，而底下會來歸納優缺點及技術比較，以及為什麼我最後會選擇...
View ArticleClik here to view.
使用 GraphQL Gateway 串接多個 Data Schema
不久之前寫過一篇『從 graphql-go 轉換到 gqlgen』，目前團隊舊有的專案還是繼續用 graphql-go 來撰寫，不過之後需求量越來越大，維護 graphql-go 就越來越困難，故有在想怎麼把 gqlgen 跟 graphql-go 相容在一起，那就是把這兩個套件想成不同的服務，再透過 Gateway 方式完成 single data graph。至於怎麼選擇 GraphQL...
View ArticleClik here to view.
用 Go 語言撰寫簡單的 Command Line 工具
之前介紹了一個開源工具『用 Docker 每天自動化備份 MySQL, Postgres 或 MongoDB 並上傳到 AWS S3』，讓開發者可以快速透過 Docker 方式來備份資料庫，而本篇要介紹我如何用 Go 語言來撰寫 CLI 並且整合 Docker 來實現備份。此工具都是透過各大資料庫官方提供的 CLI 指令 (pg_dump, mysqldump …...
View ArticleClik here to view.
Go 1.16 推出 Embedding Files
Go 語言官方維護團隊 rsc 之前在 GitHub Issue 上面提出要在 go command line 直接支援 Embedding Files，沒想到過沒幾個月，就直接實現出來了，並且預計在 2021 的 go 1.16 版本直接支援 embed 套件。有了這個功能，就可以將靜態檔案或專案設定檔直接包起來，這樣部署就更方便了。底下來看看官方怎麼使用。 影片教學...
View ArticleClik here to view.
用 Docker 每天自動化備份 MySQL, Postgres 或 MongoDB 並上傳到 AWS S3
由於備份 PostgreSQL 的指令 pg_dump 需要限定特定版本才可以備份，故自己製作用 Docker 容器方式來備份，此工具支援 MySQL, PostgreSQL 跟 MongoDB，只要一個 docker-compose yaml 檔案就可以進行線上的備份，並且上傳到 AWS S3，另外也可以設定每天晚上固定時間點進行時間備份，也就是平常所設定的 cron job。沒使用 AWS...
View ArticleClik here to view.
善用 Go 語言效能測試工具來提升執行效率
在 AI 訓練模型前，都需要經過大量的資料處理，而資料處理的速度在整個流程內扮演很重要的角色，寫出高效能的 Parser 能降低整體處理時間，那如何評估程式效能如何，以及如何快速找到效能瓶頸？本議程會帶大家了解 Go 語言內建的效能測試工具，透過 Benchmark 來找出程式效能瓶頸的地方，快速改善及優化，讓整個系統流程更順暢。也會順道分享 Go 在字串處理優化的一些小技巧。聽過此議程相信您對...
View ArticleClik here to view.
用 GitHub Actions, Drone CI 或 GitLab CI 部署 AWS Lambda
最近剛好把 drone-lambda 新增了一些新的功能，也就是可以透過 CI/CD 的方式來更新 AWS Lambda 基本設定，像是 Memory Size, Handler, Timeout, Runtime 或 Role 等 …，趁這機會寫篇教學紀錄如何透過 GitHub Actions, Drone CI 或 GitLab CI 部署 AWS Lambda。這三套部署方式都是透過...
View ArticleClik here to view.
Go 語言 Select Multiple Channel 注意事項
相信大家都知道 Select 可以用來處理多個 Channel，但是大家有沒有想過一個情境，如果是 for 搭配 select 時，肯定會用一個 Timer 或 context 來處理 Timeout 或手動 Cancel，假設如果跟其他 Channel 同時到達時，官方說法是 Select 會隨機選擇一個狀況來執行，如果並非選到我們所要的 case...
View Article用 Go 語言打造多台機器 Scale 架構
底下是 2020 的 Cloud Summit 演講投影片，歡迎大家參考看看 工商教學影片 如果對於課程內容有興趣，可以參考底下課程。 Go 語言基礎實戰 (開發, 測試及部署) 一天學會 DevOps 自動化測試及部署 DOCKER 容器開發部署實戰 如果需要搭配購買請直接透過 FB 聯絡我，直接匯款（價格再減 100） Related View在 appveyor 內指定 Go 語言編譯版本...
View ArticleClik here to view.
用 Go 語言實戰 Limit Concurrency 方法
最近看到一篇文章討論的非常熱烈，就是『concurrency is still not easy』這篇文章甚至上了 Hack News，大家有興趣可以點進去看看，而本篇會用一個實際案例介紹為什麼作者會說寫 Concurrency 不是這麼容易。大家都知道在 Go 語言內，要寫 Concurrency 只要透過一個關鍵字 go 就可以輕易寫出，而多個 Goroutine 要溝通就是需要透過...
View Article