Mercadeo Electrónico
Información, trucos y noticias

¿MSN indexando páginas no autorizadas?

Siguiendo un post en otro blog he encontrado unas discusiones en WMW me llamaron la atención. Algunos usuarios reportan que MSN está indexando páginas de sus sitios que han sido claramente bloqueadas en el robots.txt.

En respuesta un miembro del equipo de MSN Search, msndude, respondió que si se encuentran enlaces a las páginas bloqueadas MSN indexará dichas páginas aún si no las analiza, es decir, por lo menos pondrá el enlace en el índice; “esto sucede”, nos explica, “porque nosotros no podemos notar la diferencia entre una página que aún no hemos descubierto y una página que no tenemos permitido analizar”.

Usuarios reportan que MSN no sólo está indexando el enlace, sino el contenido de las páginas bloqueadas.

Discusiones en WMW:
MSN not obeying robots.txt
MSN/Live Search indexing everything
Does msnbot obey meta tag noindex?


No hay comentarios »

Aún no hay comentarios.

RSS feed de comentarios en esta entrada. TrackBack URI


Hacer un comentario

Si deseas comentar sobre esta entrada utiliza el formulario:

(requerido)

(requerido)