單項(xiàng)選擇題robots文件中，（）用于指定網(wǎng)絡(luò)爬蟲(chóng)禁止訪(fǎng)問(wèn)的目錄。

A.allow
B.user-agent
C.disallow
D.sitemap


您可能感興趣的試卷

你可能感興趣的試題

1.單項(xiàng)選擇題（）不僅會(huì)改動(dòng)數(shù)據(jù)包，還會(huì)暴露當(dāng)前訪(fǎng)問(wèn)客戶(hù)端的真實(shí)IP地址。

A.高度匿名代理服務(wù)器
B.普通匿名代理服務(wù)器
C.透明代理服務(wù)器
D.所有選項(xiàng)均不對(duì)

2.單項(xiàng)選擇題影響網(wǎng)絡(luò)爬蟲(chóng)速度的因素主要是（）。

A.數(shù)據(jù)解析速度
B.網(wǎng)絡(luò)I/O操作
C.數(shù)據(jù)寫(xiě)入磁盤(pán)的開(kāi)銷(xiāo)
D.爬蟲(chóng)開(kāi)發(fā)語(yǔ)言

3.單項(xiàng)選擇題selenium中，（）通過(guò)CSS選擇器定位元素。

A.find_element_by_css_selector（）
B.find_element_by_class_name（）
C.find_element_by_tag_name（）
D.find_element_by_name（）

5.單項(xiàng)選擇題response對(duì)象中的encoding，用于（）。

A.獲取請(qǐng)求方式
B.獲取響應(yīng)頭
C.設(shè)置或獲取響應(yīng)內(nèi)容的編碼格式，與text屬性搭配使用
D.獲取字符串形式的響應(yīng)內(nèi)容