是否應該建立robot.txt?這個問題問昆明網絡公司就問對人了,robot.txt對于搜尋引擎而言是自身網站的一項閱讀規則,什么該被讀取?什么不該被讀取?在早期IT人員深信沒有robot.txt的網站將會導致關鍵字搜尋排名的負面影響。
而目前被證實沒有建立robot.txt的網站并不會因此在關鍵字搜尋的排名中獲得劣勢,此為一項迷思。不過,robot.txt在網頁結構的設計上確實有它的功用所在,當自身網站有某些用于測試或是未公開的網頁,利用robot.txt來遮蔽確實可免去被搜尋引擎算法讀取,進而被認為是未進行SEO優化。