Über Webseiten und Suchmaschinen

Mit der Datei robots.txt Seiten vor Robots schützen

Manchmal ist es sinnvoll, bestimmte Seiten oder Bereiche einer Site vor der Indexierung zu schützen. Zum Beispiel dann, wenn es sich um Seiten handelt, die sich täglich ändern oder an denen noch gearbeitet wird. Auch Programmdateien, Bilder oder Logfiles will man vielleicht vor Robots schützen...[weiter]