Vraag & Antwoord

Anders (internet)

Google Bot zoekt naar niet bestaande directory's

Ik heb op mijn website een PHP-scriptje gemaakt, dat elke error 404 in een log-bestand zet. (Erg nuttig voor het opsporen van fouten) Nu blijkt dat verschillende Bots van zoekmachines zoeken naar niet bestaande directory's. Dit genereert heel wat verkeer (sinds 1 dec. 112 errors 404). Voorbeelden:[quote:e98d1fdeaf] http://www.mijnsite.nl/webalizer/web/ http://www.mijnsite.nl/usage2/ http://www.mijnsite.nl/stats/ http://www.mijnsite.nl/logs/ enz. enz.[/quote:e98d1fdeaf] Ik heb flink gezocht, maar niet kunnen vinden hoe ik dit gedrag blokkeer, zonder de Bots geheel te blokkeren. Wie weet de oplossing?