# Primero el contenido adjunto. User-agent: * Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-includes/ Disallow: /wp-admin/ Disallow: /page/ Disallow: /?p= #Eliminamos URL antiguas indexadas por Google Disallow: /tecnologiasyestandares.html Disallow: /plantillas-web-gratuitas/Banner* Disallow: /2009/05/bookish Disallow: /2009/05/unqualified Disallow: /2009/07/creating-effective-press-releases-for-power-seo Disallow: /2009/05/nonzero/ Disallow: /2009/05/template-24166-from-newest-templates/ Disallow: /etiquetas-diseño-web/plantillas-cms/function.fsockopen Disallow: /2009/06/contenido-flash-seo-posicionamiento/function.fsockopen Disallow: /2009/06/average-web-page-size-triples-since- Disallow: /2009/06/average-web-page-size-triples-since-2003/ Disallow: /2009/06/bing-growing-like-a-newborn-baby/ Disallow: /2009/05/templates-on-2009-05-13/ Disallow: /2009/06/optimize-drop-shadows/ Disallow: /wp-content/plugins/nextgen-gallery/xml/imagerotator.php?gid=1 Disallow: /wp-content/plugins/wp-cumulus/tagcloud.swf?r=4999999 Disallow: /wp-content/plugins/wp-cumulus/tagcloud.swf?r= Disallow: /wp-content/plugins/fbconnect/xd_receiver.htm Disallow: /2009/06/contenido-flash-seo-posicionamiento/function.fsockopen Disallow: /comments/feed/function.array-keys Disallow: /etiquetas-diseño-web/plantillas-cms/function.fsockopen Disallow: /2009/05/template-24166-from-newest-templates/ Disallow: /2009/05/nonzero/ Disallow: /2009/07/creating-effective-press-releases-for-power-seo/ Disallow: /2009/05/unqualified/ Disallow: /etiquetas-diseño-web/word/Banner-* Disallow: /2009/06/optimize-drop-shadows/ Disallow: /2009/05/templates-on-2009-05-13/ Disallow: /2009/06/bing-growing-like-a-newborn-baby/ Disallow: /2009/06/average-web-page-size-triples-since-2003/ Disallow: /2009/06/average-web-page-size-triples-since- Disallow: /temas-diseño-web/programacion/Banner-* Disallow: /2009/05/bookish/ Disallow: /tag/anadir-etiqueta-nueva/ Allow: /wp-content/uploads/ # También podemos desindexar todo lo que empiece # por wp-. Es lo mismo que los Disallow de arriba pero # incluye cosas como wp-rss.php Disallow: /wp- # # Sitemap permitido, búsquedas no. # Sitemap: http://blog.almacenplantillasweb.es/sitemap.xml.gz Disallow: /?s= Disallow: /search # # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. # # Lo mismo con URLs terminadas en /trackback/ que sólo # sirven como Trackback URI (y son contenido duplicado). # Allow: /feed/$ Disallow: /feed Disallow: /comments/feed Disallow: /*/feed/$ Disallow: /*/feed/rss/$ Disallow: /*/trackback/$ Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ Disallow: /*/*/*/trackback/$ # # A partir de aquí es opcional pero recomendado. # # Lista de bots que suelen respetar el robots.txt pero rara # vez hacen un buen uso del sitio y abusan bastante... # Añadir al gusto del consumidor... User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen # idas de pinza, toca decirles que reduzcan la marcha. # El valor es en segundos y podéis dejarlo bajo e ir # subiendo hasta el punto óptimo. # User-agent: noxtrumbot Crawl-delay: 50 User-agent: msnbot Crawl-delay: 30 User-agent: Slurp Crawl-delay: 10