歡迎來到 常識詞典網(wǎng) ， 一個(gè)專業(yè)的常識知識學(xué)習(xí)網(wǎng)站！
[ Ctrl + D 鍵 ]收藏本站
答案 1：
robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。 當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。
下一篇:物價(jià)上漲背后的市場邏輯是什么？將不下來！ 下一篇 【方向鍵 ( → )下一篇】
上一篇:官場小說是否能成為官場教科書呢？ 上一篇 【方向鍵 ( ← )上一篇】
快搜
