[Open Source] 資料工程營 2026 年 1 月 12 日開課，把握最後時間！

資料工程新手村：Data Engineering Zoomcamp 帶你從零開始打造資料管道！

各位台灣的資料愛好者們，大家好！今天我要向大家隆重介紹一個絕佳的學習資源——Data Engineering Zoomcamp！這個由 DataTalks.Club 提供的免費線上課程，將帶領你一步步踏入資料工程的世界，讓你從對資料工程一竅不通的新手，搖身一變成為能夠獨立建構資料管道的資料工程師。

什麼是資料工程？為什麼要學？

在進入課程之前，我們先來聊聊資料工程是什麼。簡單來說，資料工程就像是蓋房子一樣，資料就是建材，而資料工程師就是建築師，負責設計、建造和維護資料的基礎設施。他們需要確保資料能夠被順暢地收集、儲存、處理和分析，以便讓資料科學家和分析師能夠從中提取有價值的資訊。

為什麼要學習資料工程呢？

• 資料驅動的時代： 現今世界越來越依賴資料來做出決策，資料工程師的需求也隨之水漲船高。
• 高薪前景： 資料工程師的薪資普遍優渥，是個極具吸引力的職位。
• 技術多元： 資料工程涵蓋了許多不同的技術，讓你能夠不斷學習和成長。
• 創造價值： 資料工程師的工作能幫助企業更好地理解客戶、優化業務流程，進而提升競爭力。

Data Engineering Zoomcamp 簡介：為新手量身打造的課程

Data Engineering Zoomcamp 是一門為期九週的線上課程，專為資料工程新手設計。課程內容涵蓋了資料工程的基礎知識和實務技能，讓你能夠從零開始，逐步掌握資料工程的核心概念。

課程特色：

• 免費： 課程完全免費，任何人都可以參與。
• 結構化教學： 課程分為多個模組，每個模組都有明確的學習目標和作業，讓你能夠循序漸進地學習。
• 實作導向： 課程強調實作，讓你能夠透過動手操作，將學到的知識應用到實際案例中。
• 社群支持： 課程有活躍的 Slack 社群，你可以與其他學員交流、提問，並獲得來自講師的指導。
• 彈性學習： 課程的教材和影片都是公開的，你可以按照自己的步調學習。

課程目標：

• 掌握資料工程的基礎概念和原理。
• 學會使用業界常用的資料工程工具和技術。
• 建立資料管道，將資料從來源提取、轉換、載入到資料倉儲中。
• 熟悉資料治理和資料品質的概念。
• 參與最終專案，將所學知識應用到實際案例中。

課程內容總覽：九週讓你蛻變

Data Engineering Zoomcamp 的課程內容非常豐富，涵蓋了資料工程的各個重要環節。以下是課程的主要模組：

1. 模組一：容器化與基礎設施即程式碼 (Containerization and Infrastructure as Code)
   • GCP 導覽： 快速了解 Google Cloud Platform (GCP) 的基本概念。
   • Docker 與 Docker Compose： 學習使用 Docker 容器化你的應用程式，讓環境更容易管理和部署。
   • PostgreSQL with Docker： 學習使用 Docker 啟動和管理 PostgreSQL 資料庫。
   • Terraform 基礎設施設定： 透過 Terraform 建立和管理雲端基礎設施，實現基礎設施即程式碼 (IaC)。

   新手指南： 這個模組會帶你初步接觸雲端環境和容器化技術。如果你是完全的新手，可能會覺得 Docker 和 Terraform 有點複雜，但不用擔心，課程會提供詳細的教學和範例。你可以先從 Docker 開始，了解容器的基本概念和操作，然後再逐步學習 Terraform。

2. 模組二：工作流程編排 (Workflow Orchestration)

   • 資料湖與工作流程編排： 了解資料湖的概念，以及工作流程編排在資料處理中的重要性。
   • Kestra 工作流程編排： 學習使用 Kestra 這個開源的工作流程編排工具，自動化你的資料處理流程。

   新手指南： 工作流程編排可以讓你把資料處理流程拆解成多個步驟，然後自動化它們的執行。這個模組會教你如何使用 Kestra 來建立和管理你的資料管道。

3. 工作坊一：資料擷取 (Data Ingestion)

   • API 讀取與管道擴展性： 學習從 API 擷取資料，並設計可擴展的資料管道。
   • 資料標準化與增量載入： 了解如何對資料進行標準化處理，以及如何增量載入資料，減少處理時間和資源消耗。

   新手指南： 資料擷取是資料工程的重要環節，這個工作坊會教你如何從各種來源（例如 API）獲取資料，並將其導入資料管道中。

4. 模組三：資料倉儲 (Data Warehousing)

   • BigQuery 導覽： 學習 Google BigQuery 的基礎知識。
   • 分割、叢集與最佳實踐： 了解 BigQuery 的分割和叢集功能，以及如何優化查詢效能。
   • BigQuery 中的機器學習： 探索如何在 BigQuery 中使用機器學習技術。

   新手指南： 資料倉儲是存放資料的地方，也是資料分析的基礎。這個模組會教你使用 BigQuery 建立和管理資料倉儲。

5. 模組四：分析工程 (Analytics Engineering)

   • dbt (data build tool) with DuckDB & BigQuery： 學習使用 dbt 這個工具，來轉變和測試你的資料。
   • 測試、文件和部署： 了解如何測試你的資料模型，撰寫文件，以及部署你的資料分析流程。
   • Streamlit & Looker Studio 資料視覺化： 學習使用 Streamlit 和 Looker Studio 來建立資料視覺化報表，幫助你更好地理解資料。

   新手指南： 分析工程是資料工程的一個分支，主要關注資料的轉換、測試和分析。這個模組會教你如何使用 dbt 和其他工具，來構建高效的資料分析流程。

6. 模組五：批次處理 (Batch Processing)

   • Apache Spark 導覽： 學習 Apache Spark 的基礎知識。
   • DataFrames 與 SQL： 學習如何使用 DataFrames 和 SQL 在 Spark 中處理資料。
   • GroupBy 與 Joins 內部原理： 了解 GroupBy 和 Joins 等操作的內部原理，幫助你優化 Spark 程式碼。

   新手指南： 批次處理是處理大量資料的常見方法。這個模組會教你使用 Apache Spark 這個流行的批次處理框架。

7. 模組六：串流 (Streaming)

   • Kafka 導覽： 學習 Kafka 的基礎知識。
   • Kafka Streams 與 KSQL： 學習使用 Kafka Streams 和 KSQL 來處理即時資料。
   • Avro 綱要管理： 了解如何使用 Avro 進行資料綱要管理，確保資料的一致性。

   新手指南： 串流處理是處理即時資料的技術。這個模組會教你使用 Kafka 建立和管理串流資料管道。

8. 最終專案 (Final Project)

   • 應用所有學到的概念於實際情境： 將你在課程中學到的知識應用到一個真實的資料工程專案中。
   • 同儕審查與回饋： 透過同儕審查，你可以從其他學員那裡獲得回饋，並學習如何改進你的專案。

   新手指南： 最終專案是你展現所學的機會，也是你學習和成長的絕佳機會。

如何開始學習：逐步指南

Data Engineering Zoomcamp 提供兩種學習方式：

1. 2026 屆 (Cohort)
   • 開始日期： 2026 年 1 月 12 日
   • 報名連結： 報名
   • 說明： 參加 2026 屆的學員將會依照課程進度學習，並與其他學員一起參與社群活動。
2. 自主學習 (Self-Paced Learning)
   • 步驟：
     1. 觀看課程影片。
     2. 加入 Slack 社群。
     3. 參考 常見問題解答 尋求協助。

   新手指南： 如果你沒有時間參加 2026 屆，或者你想按照自己的步調學習，自主學習是個不錯的選擇。你可以隨時開始，並按照自己的時間表完成課程。

學習前的準備：基本要求

為了能讓你在 Data Engineering Zoomcamp 中獲得最大的收穫，你應該具備以下基本條件：

• 基本的程式設計經驗： 了解程式設計的基本概念，例如變數、迴圈和函數。
• 熟悉 SQL： 了解 SQL 的基本語法，例如 SELECT、FROM、WHERE 和 JOIN。
• Python 經驗 (有幫助但非必要)： 熟悉 Python 程式設計，可以幫助你更輕鬆地完成課程中的程式作業。

新手指南： 如果你對程式設計和 SQL 一竅不通，也不用擔心。網路上有很多免費的資源可以幫助你學習這些基礎知識。例如，你可以參考 Codecademy、Khan Academy 等網站上的課程。

額外資源：讓你的學習更上一層樓

除了課程內容，Data Engineering Zoomcamp 還有一些額外的資源可以幫助你更好地學習：

• Slack 社群： 加入 Slack 社群，與其他學員交流、提問，並獲得來自講師的指導。
• 常見問題解答： 參考常見問題解答，了解課程的相關資訊和常見問題的解答。
• 課程影片： 觀看課程影片，跟著講師的講解逐步學習。
• 作業和專案： 積極完成課程中的作業和專案，加深你對知識的理解。

新手指南： 積極參與社群活動，多與其他學員交流，可以幫助你更好地學習。遇到問題時，不要害怕提問，講師和社群成員都會樂於助人。

實作心得：我的學習旅程與建議

身為一個資料工程的初學者，我也曾參加過 Data Engineering Zoomcamp。以下是我的一些實作心得與建議，希望能幫助你更好地學習：

• 不要害怕失敗： 在學習的過程中，難免會遇到困難。不要害怕失敗，每一次的錯誤都是一次學習的機會。
• 積極參與社群： 與其他學員交流，互相學習，可以讓你更快地掌握知識。
• 動手實作： 盡量多做實作練習，將學到的知識應用到實際案例中。
• 善用 Google 和 Stack Overflow： 當你遇到問題時，可以善用 Google 和 Stack Overflow 尋找解答。
• 持之以恆： 資料工程的學習是一個持續的過程，保持學習的熱情，持之以恆，你一定能成為一名優秀的資料工程師。
• 小訣竅： 在開始每個模組之前，先快速瀏覽一下內容，了解大致的框架。這可以幫助你更好地理解課程的內容，並在學習過程中更有方向感。

結論：開啟你的資料工程之路！

Data Engineering Zoomcamp 是一個非常棒的學習資源，它為你提供了一個絕佳的機會，讓你從零開始，逐步掌握資料工程的技能。如果你對資料工程有興趣，或者你想轉職成為一名資料工程師，那麼 Data Engineering Zoomcamp 絕對是你的最佳選擇！

立即報名，加入 Data Engineering Zoomcamp，與來自世界各地的資料愛好者一起學習，共同成長，開啟你的資料工程之路吧！

參考閱讀

https://github.com/DataTalksClub/data-engineering-zoomcamp