In de meeste gevallen zullen domeineigenaren het prettig vinden wanneer zijn of haar site regelmatig wordt bezocht door een zoekmachine (webspider) en worden opgenomen aangezien dit in de meeste gevallen het bezoekers aantal van de betreffende site zal verbeteren.
Echter, tegenwoordig worden domeinen en accounts veel voor privacy doeleinden gebruikt.Een opname in een zoekmachine is dan niet nodig en soms zelfs ongewenst.
Als voorbeeld voor een ongewenste registratie in een zoekmachine is als u bijvoorbeeld verschillende privé foto galeries heeft. Zo kan het gebeuren dat door de opname van uw website deze afbeeldingen worden opgeslagen in de "Google plaatjes zoeker" Personen die met de "Google plaatjes zoeker" werken kunnen uw afbeeldingen bekijken zonder dat zij uw website bezoeken. Ook kan op deze manier een eventueel copyright worden geschonden.
1. Start een tekst editor zoals kladblok (notepad)2. Creeer een nieuw document en plaats hierin de volgende tekst:
User-agent: *Disallow: /
3. Sla het tekst bestand op met de naam: robots.txt4. Upload het tekst bestand naar uw account (root folder)
Belangrijk:
Door de robots.txt toe te voegen in uw rootmap zult u niet meer worden opgenomen in zoekmachines. Mocht u alleen een bepaalde directory willen beveiligen tegen opnamen in zoekmachines, plaats dan de robots.txt in de betreffende directory van uw account.