可以爬蟲

[AlaRduTP]

參考 https://hackmd.io/@uier/ry0aVDiS2 要爬哪些資料

TBD

• 從 Message Queue 找 Job
• 定期爬蟲
• 爬下來的資料寫回 Message Queue

[uier]

@as535364 確認一下？

[as535364]

我覺得 2: 定期爬蟲有點怪怪的
@Bogay 希望能 stateless，所以應該以 message queue 裡的 job 為主？
如果我有理解錯誤請糾正我

[Bogay]

度，我覺得是後端，或另外的 component 要負責定期產生 job，但 job 內容可能可以先寫死，i.e. 固定爬台灣這幾個網站。

能夠設定的是 message queue 的連線資訊那些目前我想就足夠。

[AlaRduTP]

好～我正準備要開始。

但我不太懂定期爬蟲和 stateless 有沒有太大的關係，因為目前看起來我還是要定期去撈 Message Queue 的 Job 嗎？
還是說會有人主動來通知我？

[Bogay]

@as535364 這部分有決定了嗎？雖然實作上的差異應該非常小就是了，@AlaRduTP 描述的這兩種情境，我認為主要差別在於爬蟲的 job 是如何被觸發的，一種是有個 controller 一直 loop 去檢查 message queue；一種可能是某種 event handler 會去把爬蟲的 job 帶起來（某種..lambda 之類的？）

[as535364]

@as535364 這部分有決定了嗎？雖然實作上的差異應該非常小就是了，@AlaRduTP 描述的這兩種情境，我認為主要差別在於爬蟲的 job 是如何被觸發的，一種是有個 controller 一直 loop 去檢查 message queue；一種可能是某種 event handler 會去把爬蟲的 job 帶起來（某種..lambda 之類的？）

celery 做掉惹，這邊可以不用管 XD