Robots.txt文件看似只有幾行字母，但是其實有很多細節(jié)需要注意的。因為如果你不注意這些細節(jié)，有的語句將不會發(fā)揮效果，甚至出現(xiàn)反效果。robots.txt文件是搜索引擎進入文匯軟件站點后訪問的第一個文件，文匯軟件（濟南網(wǎng)站建設(shè)）提醒大家robots.txt文件寫的好不好直接關(guān)系到站點的seo能否順利進行。

1、robots的用法

User-agent：定義進制搜索引擎名字，比如說：百度（Baiduspider）、谷歌（Googlebot）、360（360Spider）等。*號代表全部搜索引擎
Disallow：不允許收錄

Allow：允許收錄

案例：

User-agent: * （聲明禁止所有的搜索引擎抓取以下內(nèi)容）

Disallow：/blog/（禁止網(wǎng)站blog欄目下所有的頁面。比如說：/blog/123.html）

Disallow：/api（比如說：/apifsdfds/123.html也會被屏蔽。）

Allow：/blog/12/（一般情況下不需要寫Allow的，而我們在禁止的目錄下面，我們需要讓搜索引擎收錄，那么我們就可以使用Allow，比如說我們前面禁止了blog欄目下所有的頁面，同時我們想/12/欄目下被收錄，這個時候我們就需要通過Allow來允許搜索引擎的收錄。）

Disallow：*?*（只要你的路徑里面帶有問號的路徑，那么這條路徑將會被屏蔽

Disallow：/*.php$（意思是以.php結(jié)尾的路徑全部屏蔽掉。）

對于robots.txt文件的重要性想必很多站長都深有體會。如果濟南網(wǎng)站建設(shè)不重視這些書寫的小細節(jié)的不僅會失去robotss.txt原有的效果，還會引起不必要的反效果。