多項(xiàng)選擇題下列選項(xiàng)中，屬于應(yīng)對(duì)反爬蟲策略的是（）

A.降低訪問(wèn)頻率
B.使用代理ip
C.識(shí)別驗(yàn)證碼
D.偽裝User-agent


您可能感興趣的試卷

你可能感興趣的試題

1.多項(xiàng)選擇題下列選項(xiàng)中，屬于URL 的組成元素的是（）

A.IP地址
B.服務(wù)器
C.路徑
D.協(xié)議頭

2.多項(xiàng)選擇題關(guān)于聚焦爬蟲的工作原理，下列描述正確的是（）

A.根據(jù)一定的搜索策略，從URL 隊(duì)列中選擇下一步要抓取的網(wǎng)頁(yè)URL
B.我們需要根據(jù)爬取需求定義聚焦爬蟲的爬取目標(biāo)，并進(jìn)行相關(guān)的描述
C.聚焦爬蟲會(huì)根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾與主題無(wú)關(guān)的鏈接，保留有用的鏈接
D.有用的鏈接會(huì)放入等待抓取的URL 隊(duì)列

3.單項(xiàng)選擇題下列選項(xiàng)中，用于在robots.txt 文件中描述搜索引擎名字的是（）

A.Disallow
B.Allow
C.accept
D.User-agent

4.單項(xiàng)選擇題用于robots.txt 文件中，標(biāo)記不允許的是（）

A.disallow
B.User-agent
C.allow

5.單項(xiàng)選擇題下列選項(xiàng)中，被稱為主題網(wǎng)絡(luò)爬蟲的是（）

A.聚焦網(wǎng)絡(luò)爬蟲
B.深層網(wǎng)絡(luò)爬蟲
C.通用網(wǎng)絡(luò)爬蟲
D.增量式網(wǎng)絡(luò)爬蟲