Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略(電子書)

Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略 本書獨家解析知名大數據專案，FinMind，帶你一窺大數據產品的發展過程，打造專屬個人的大數據 side project、作品、產品。讀完本書，你將學會分散式爬蟲、rabbitmq、api、MySQL 資料庫、壓力測試、docker、CICD、雲端、traefik、redash 視覺化等，本書是一本集大成的作品。 分享在 Github 獲得 1,500 stars 的大數據 side project，並幫助讀者從 0 開始，打造專屬個人的大數據 side project。 ● 資料工程 ○ 使用分散式技術，rabbitmq、flower、celery，收集證交所、櫃買中心、期交所等股市資訊。 ○ 使用 docker、fastapi 架設 RESTful API 服務。 ○ 使用 docker swarm 架設分散式服務，包含爬蟲、api、資料庫 MySQL、rabbitmq 等服務。 ○ 使用雲端服務，一個月 5 美金，且免費提供 100 美金額度。 ○ 一站式管理多台分散式機器。 ● 產品迭代 ○ 單元測試 unit test 介紹，包含爬蟲、api 測試範例。 ○ 使用 CICD 做持續性整合、部屬，並以 gitlab-ci 搭配 API 服務做為範例。 ● API 產品上線 ○ 免費網址申請教學，No-IP。 ○ 免費 SSL 憑證教學，Let's Encrypt。 ○ 一站式管理多服務網址，容器化反向代理工具 Traefik。 ● 業界資料視覺化工具 ○ 使用 Redash 建立個人化、股市分析儀表板。