Änderungen

Wenn Sie bestimmte Crawler ausschließen möchten, können Sie das über einen Eintrag des ''User Agents'' im '''[[robots.txt]]''' tun. Ebenso können Sie festlegen, welche Verzeichnisse durchsucht werden dürfen und welche nicht. Wie genau das funktioniert hat [https://www.bjoernsworld.de/suchmaschinen/robots-txt.html bjoernsworld.de hier] ausführlich erklärt.