排程自動抓台幣美元匯率成交量資料﹍Google Apps Script
![排程自動抓台幣美元匯率成交量資料﹍Google Apps Script](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhXJLHSQA5PbH8eUBeqKBxapi0PhkUgYuArTx7NWt3i7eQaCJ8JtxS2LTdbdYnmzcZ7Iym3JaLPf4WAYl9w0puyu1mfA3D4EG4NnhHr1N07h-LnGv1Zuqnt-kp9oOhEzTaVX4VjxPOthEPbDd2ayfRb1cQAQvGk8w9n29QrI2taoWLdZU5tQcSOZuzbNQ/s1600/usd-twd-exchange-rate.jpg)
上一篇說明「 如何排程抓證交所台股交易資料 」,本篇同樣利用 Google 試算表作為資料庫,使用 Google Apps Script(以下簡稱 GAS)進行排程及寫程式,來抓取「美元/台幣」匯率交易資料,用以觀察長期趨勢,尋找合適的買賣點。 (圖片出處: pexels.co...
繼續閱讀全文FB 社團爬蟲實作範例﹍使用 Node.js 操作 Puppeteer
![FB 社團爬蟲實作範例﹍使用 Node.js 操作 Puppeteer](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhDF-O5Zb__A5nqgot24GhUqvEk10CuzHDiIYN6G0q2sgzrT5d6yx9BJYgo7RwsB2sjpbfXMW7ggk1pkn8Yp0obB7MkDbFGPHfZtVGgHUO0JI1B6O_g0G8edjCVOun49C9fJ7RDDhR150ir5v8NciXnbNQnC92XI1kD2mLc7Ez0Q-yni3JLaOivKEAfvtD9/s1600/fb-group-scraper-nodejs-puppeteer.jpg)
過去取得 Facebook 社團貼文的方法為「 訂閱FB社團通知郵件 」,然後利用 Gmail 設定關鍵字篩選,挑出真正需要的貼文內容,整個優化流程記錄在「 操作 Google Apps Script 定時過濾 FB 社團郵件通知 」。 不過這套流程最近碰了壁,不知為何 Fac...
繼續閱讀全文排程抓證交所台股交易資料+自動寄信通知
![排程抓證交所台股交易資料+自動寄信通知](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhvnxrPFKwC-yAIvfNlxGYz1F4If9BkoDZLsudO87-Nu9mbDgXf9zOIN2Veb7_DDQTaxKrtlE0sIAfYblkaDXxHi-WBD3eOAWLsROBUjcqHUQJX97dEDNPg4-PWea476XqI9RFibiSP9x3zbgnw6IPK9vKCFUeQuhjQyFIANnBRAyWezL7apa2GXguuXw/s1600/twse-api-email.jpg=s0-rw)
今年 2022 年初台股從高點一萬八崩盤,時至今日跌了近一年,差不多可以觀察買點。 每天打開看盤軟體、股市網頁,主動梳理資訊需花費大量時間精力。如果需要的資訊、數字,使用程式自動寄 email 通知,被動接收精準資訊花費的時間很少,有需要時再進入資料庫查閱所有紀錄過的資訊。 ...
繼續閱讀全文使用 Node.js 爬蟲定期抓網頁資料,結合 Google 試算表作為資料庫
![使用 Node.js 爬蟲定期抓網頁資料,結合 Google 試算表作為資料庫](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhEwN_P30nde6yoDJSviXigYZwhoF6WLfliWxNdzL5euCVkwo-_itnIfEPtGxKemvszfTc1cIo89zzW3D1fCMREkdxX69Y431Sz8elr90VeH_mdGJHGYR5fP0P38Wq5Lek-eg-zYu2R9fOPDsEbJ3FS-YqTmphkGrjMrkwWZR6BNauXLbmBTzFLuu5lDw/s1600/node.js.crawler.periodical.jpg=s800-rw)
上一篇「 Node.js 爬蟲開發新手技巧﹍Google Apps Script 替代品 」說明了為何我選擇 Node.js 作為爬蟲程式,並搭配 Google 試算表這個免費雲端資料庫,只要學會 Javascript 就能通吃「前端+後端+資料庫」,非常方便好上手。 閱讀本篇...
繼續閱讀全文Node.js 爬蟲開發新手技巧﹍Google Apps Script 替代品
![Node.js 爬蟲開發新手技巧﹍Google Apps Script 替代品](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjMLTLDvvI5m8OA-ZyyMHXVSHUe45bhCM6hu1Zh3uP-_fJ8g1SsTkmMHAzSV4UKoMeL87hgk4znqKUbSn7t4rdnkzA0MKdoBgTO0eM2VpBOpVB2Ka7o_pTG4CFnlt7sGwTI07BcRIWpmV97R5PBb3sCfly2-lhR_LPcNbOGDJuf3LV_O9HL3HgsNCk-gQ/s1600/nodejs.jpg)
過去一直使用「 Google Apps Script 製作網頁爬蟲程式 」,並配合「 Google 試算表做為資料庫 」,基本上不但免費、可應付大多數的需求,同時 Google 試算表還很強大,操作起來不但方便,只要能上網的地方就可使用,省下雲端同步的麻煩,比 Excel 方便太...
繼續閱讀全文製作網路爬蟲工具抓動態產生的網頁資料﹍體育賽事範例實作
![製作網路爬蟲工具抓動態產生的網頁資料﹍體育賽事範例實作](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi4kZxFYeyitLevjoGBtI8nj7UeKUoqvmf6BJzMNRWVGpdu9vKwx7wvZTQlM4wN7NL1ii-HiONasMRKhakInzFH_HQ1ON22Vz3I2yb3EoSgxvDkmeLbdDjJgIX1uy2nPB1pLCXNVa0BhIS9/s1600/web-crawler-ajax-data.jpg)
之前記錄了幾篇「 Google Apps Script 製作爬蟲工具 」的心得,使用 cheerio 套件之後,解析網頁的 HTML/XML 內容變得十分輕鬆。 但越來越多網頁使用 Ajax 動態載入資料內容,這些由 Javascript 產生的內容在網頁原始碼是看不到的,那...
繼續閱讀全文Google Apps Script 網頁爬蟲麻煩事交給 Cheerio 解決,輕鬆解析 HTML 與 XML
![Google Apps Script 網頁爬蟲麻煩事交給 Cheerio 解決,輕鬆解析 HTML 與 XML](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhyialvTiA-iZLv_QIvK-zq5WPUdiKsSNd20NHZufLwGFf_iZW3R0M4phR2VH8_FIumhB0o4o8v1Yv9lU2zGRtk-2ekbrDG-IVdJFm6_fQ_hxJtkOvR3ZOHS3cioJMNkd5Ji2BB9UgMcqEp/s1600/google-apps-script-parse-html-cheerio.jpg)
之前用 Google Apps Script(簡稱 GAS)製作網頁爬蟲程式,為了解析 HTML 與 XML 分別寫了兩篇心得: Google Apps Script 爬網頁資料,解析 HTML 及操作 DOM 的技巧 Google Apps Script 使用 XmlSe...
繼續閱讀全文Google Apps Script 使用 XmlService 解析 XML 要注意的地方
![Google Apps Script 使用 XmlService 解析 XML 要注意的地方](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgdm79xtN2Ko1_yFZbpI2kXJqq4V8wtNyGdbLPhnpTvh45NnE-isN-F-f5JvZbduP9nLantcA98CckHKHYgjT4Nd1nKPmdItptcpE6zx3sO9n8tNi0kRZCkKoZHzwkB-3iX1KkkbR9IcNyF/s1600/google-apps-script-xmlservice-problem.jpg)
之前曾記錄使用 Google Apps Script(簡稱 GAS) 爬網頁資料,「 解析 HTML 及操作 DOM 的技巧 」,主要利用 GAS 的 XmlService 這個官方函數。 而最近爬 XML 頁面時,發現之前記錄的心得不敷使用,沒想到 XML 架構有點難以理解...
繼續閱讀全文使用 Google Apps Script 爬網頁資料,解析 HTML 及操作 DOM 的技巧
![使用 Google Apps Script 爬網頁資料,解析 HTML 及操作 DOM 的技巧](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhVkmqCPow6R2WuWL9iamYKl4P6TcRYXO6N0u2lupo59JY2eYMyGccDr-vSYR6jkIUaX1GhSF0W4XI0T9FSB-AbkJfbPVdC5Xqb5aj77aPylekTGnrjyu6j-KPiVLAr55ybVUpvUUb71fZw/s1600/google-apps-script-parse-html-dom.jpg)
前陣子接到的需求,要使用爬蟲程式撈特定網站資料回來,那麼利用 Google 試算表是不錯的選擇,除了每個儲存格的容量最多有 50000 個字元,還可用 Google Apps Script(以下簡稱 GAS) 執行爬蟲程式、處理各種細節。 不過撈完網頁內仍後,如何解析 HTM...
繼續閱讀全文