Kafit ist die innovative Suchmaschine von KFSW, Kristian Fischer
   
  Suche: Seiten in Deutsch  Seiten aus Deutschland
Home
Impressum
Robot-Info

Robot / Crawler

Die Datei robots.txt ist eine Standardmöglichkeit um Robots / Crawler zu steuern.
Nähere Informationen können Sie hier nachlesen

Wenn Sie nicht wünschen, dass unser Robot Ihre Seiten besucht und in diesem Suchdienst verfügbar macht, können Sie unseren Bot mit dem folgenden Eintrag in Ihrer robots.txt aussperren:

User-agent: KFSW-Bot
Disallow: /


Wenn Sie unserem Bot einzelne Verzeichnisse verbieten wollen, erreichen Sie dies mit dem folgenden Eintrag

User-agent: KFSW-Bot
Disallow: /verzeichnis_1/
Disallow: /verzeichnis_2/


Seiten entfernen

Wenn Sie Seiten aus diesem Suchdienst entfernen wollen reicht es diese Seiten wie oben beschrieben in der robots.txt zu sperren.
Gesperrte Bereiche werden beim nächsten Webdurchgang nicht mehr aufgenommen.
In dringenden Fällen schicken Sie uns bitte eine Mail an: bot [at] kfsw.de