經(jīng)常出現(xiàn)database is locked是怎么回事？rate/burst設(shè)置為1/1還是會(huì)有這個(gè)

科技 未結(jié) 4 994
平城的故事
平城的故事 2023-04-10 22:38

如圖所示：

1.這是什么問題呢？將rate/burst設(shè)置為1/1還是會(huì)有，該如何解決？

2.點(diǎn)到tasks界面選擇任意一個(gè)success的鏈接進(jìn)來，看到會(huì)有"HTTP 304: Not Modified"錯(cuò)誤，這是原來已經(jīng)爬取過了的意思嗎？

3.還有就是爬取的網(wǎng)站有很多頁(yè)，然后每頁(yè)又是一個(gè)列表界面，點(diǎn)擊列表界面的單個(gè)鏈接就進(jìn)入相應(yīng)的詳細(xì)信息界面，理論上不應(yīng)該是按照順序爬嗎，第一頁(yè)爬完爬第二頁(yè)一次類推，為什么看終端或者activetasks里面都不是按照順序爬的，有時(shí)是幾十頁(yè)，然后又跳到幾百頁(yè)去了，這樣就有時(shí)候會(huì)漏掉很多沒有爬到，這種情況如何解決，所以我就想讓他嚴(yán)格的按照順序爬取。

4條回答
提交回復(fù)