#
# robots.txt para tu blog en WordPress.
#
# Usar bajo propia responsabilidad, que nos conocemos })
# httpsigt.netarchivorobotstxt-para-wordpress.xhtml
#
# Primero el contenido adjunto.
User-Agent 
Allow wp-contentuploads
Disallow wp-contentplugins
Disallow wp-contentthemes
Disallow wp-includes
Disallow wp-admin
# También podemos desindexar todo lo que empiece
# por wp-. Es lo mismo que los Disallow de arriba pero
# incluye cosas como wp-rss.php
Disallow wp-
#
# Sitemap permitido, búsquedas no.
#
Sitemap httptu-websitemap.xml
Disallow s=
Disallow search
#
# Permitimos el feed general para Google Blogsearch.
#
# Impedimos que permalinkfeed sea indexado ya que el
# feed con los comentarios suele posicionarse en lugar de
# la entrada y desorienta a los usuarios.
#
# Lo mismo con URLs terminadas en trackback que sólo
# sirven como Trackback URI (y son contenido duplicado).
#
Sitemap: http://blogdeambulante.com.ar/sitemap.xml
Allow feed$
Disallow feed
Disallow commentsfeed
Disallow feed$
Disallow feedrss$
Disallow trackback$
Disallow feed$
Disallow feedrss$
Disallow trackback$
Disallow feed$
Disallow feedrss$
Disallow trackback$
#
# A partir de aquí es opcional pero recomendado.
#
# Lista de bots que suelen respetar el robots.txt pero rara
# vez hacen un buen uso del sitio y abusan bastante…
# Añadir al gusto del consumidor…
User-agent MSIECrawler
Disallow 
User-agent WebCopier
Disallow 
User-agent HTTrack
Disallow 
User-agent Microsoft.URL.Control
Disallow 
User-agent libwww
Disallow 
#
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
# idas de pinza, toca decirles que reduzcan la marcha.
# El valor es en segundos y podéis dejarlo bajo e ir
# subiendo hasta el punto óptimo.
#
User-agent noxtrumbot
Crawl-delay 50
User-agent msnbot
Crawl-delay 30
User-agent Slurp
Crawl-delay 10