使用 Node.js 爬蟲定期抓網頁資料,結合 Google 試算表作為資料庫

上一篇「 Node.js 爬蟲開發新手技巧﹍Google Apps Script 替代品 」說明了為何我選擇 Node.js 作為爬蟲程式,並搭配 Google 試算表這個免費雲端資料庫,只要學會 Javascript 就能通吃「前端+後端+資料庫」,非常方便好上手。 閱讀本篇...

繼續閱讀全文

E-ink 螢幕 Paperlike Pro 使用心得﹍(2) 護眼檯燈 + 環境優化

上一篇「 Paperlike Pro 入手及開箱心得 」介紹了這個電子墨水顯示器,使用一段時間後發現有個重大技術問題需要解決,而且看到這個 FB 討論串,也證實不只我有這個顧慮:「 Eink前光燈的重要性 」: 檯燈光源要是光度不夠,會有部份亮部份不夠亮的問題 反光問題.....

繼續閱讀全文

操作 Sheets API 讀取 Google 試算表取得 JSON 資料

「 Google Sheets API 」可用來存取 Google 試算表資料,但卻是我少數不推薦使用的 Google API,原因可參考之前寫的「 利用 Google 試算表當小型資料庫 (4)使用 SQL 語法讓搜尋功能更強大 」→「1. Sheets API 功能不佳」,因...

繼續閱讀全文

Node.js 模組安裝完卻無法引用的最佳解法

寫完前一篇「 Node.js 爬蟲開發新手技巧 」後發現,在不同的資料夾執行程式碼,有的可以正常執行,有的會報錯「Cannot find module 'xxxxx'」表示找不到第三方模組。 研究後才發現,Node.js 讀取第三方模組有其 SOP,若在系統預設...

繼續閱讀全文

Node.js 爬蟲開發新手技巧﹍Google Apps Script 替代品

過去一直使用「 Google Apps Script 製作網頁爬蟲程式 」,並配合「 Google 試算表做為資料庫 」,基本上不但免費、可應付大多數的需求,同時 Google 試算表還很強大,操作起來不但方便,只要能上網的地方就可使用,省下雲端同步的麻煩,比 Excel 方便太...

繼續閱讀全文
TOP