robots.txt 這個文件一般存放在網(wǎng)站根目錄下。如果大家使用一些CMS系統(tǒng)或者博客系統(tǒng)的話，都是可以看到這個文件的。

這里面存放的是一些規(guī)則代碼。用來告訴搜索引擎。我網(wǎng)站的什么內容是你可以看的，什么內容是你不可以看的。

如果是使用大眾的CMS系統(tǒng)一般都沒什么問題。但是如果使用的是一個冷門的CMS或者一些個人開發(fā)的網(wǎng)站系統(tǒng)。最好是自己檢查一下這個文件?？纯从袥]有限制搜索引擎訪問之類的。否則到時候明明是你不讓蜘蛛進家門，結果還一直怪人家不收錄。

sitemap，網(wǎng)站地圖。

一般有兩種，一種是給用戶看的。一種是給搜索引擎看的。不過其實給用戶看的搜索引擎也順便看一下了。

這個是淘寶的網(wǎng)站地圖。給用戶看的。一目了然網(wǎng)站結構及欄目劃分。

.***.com/Sitemap.xml 這是我博客的網(wǎng)站地圖。給搜索引擎看的。主要就是告訴他我的網(wǎng)站有多少鏈接，鏈接網(wǎng)址是多少。也可以做成HTML的。

差不多就這些了，歡迎大家一起交流學習。本文來源：無語博客(www.wuyublog.com )，轉載請注明。謝謝