¿El contenido cargado por AJAX afectará los motores de búsqueda / SEO?

Me pregunto si el contenido cargado dinámicamente por AJAX afecta la capacidad de SEO para que los motores de búsqueda indexen la página.

Estoy pensando en hacer una página de carga constante, algo como el panel de control de Tumblr donde el contenido se carga automáticamente a medida que el usuario se desplaza hacia abajo.

Respuesta corta: depende.

A continuación se explica por qué: supongamos que tiene contenido que desea indexar; en ese caso, cargarlo con ajax asegurará que no lo haga. Por lo tanto ese contenido debe ser cargado normalmente.

Por otro lado, digamos que tiene algún contenido que desea indexar, pero por una razón u otra no desea mostrarlo (sé que esto no es recomendable y no es muy bueno para el usuario final, pero hay casos de uso válidos), puede cargar este contenido normalmente y luego ocultarlo o incluso reemplazarlo utilizando javascript.

En cuanto a su caso en el que tiene contenido de “carga constante”, puede asegurarse de que esté indexado al proporcionar enlaces a los agentes de usuario habilitados para los motores de búsqueda / no js. Por ejemplo, puede tener algún contenido similar a Twitter y al final un botón más que enlaza con el contenido a partir del último elemento que mostró. Puede ocultar el botón usando javascript para que los usuarios normales nunca sepan que está allí, pero los rastreadores indexarán ese contenido (haciendo clic en el enlace) de todos modos.

Un año después…

Hace un tiempo, Google presentó especificaciones sobre cómo crear contenido XHR que los motores de búsqueda podrían indexar. Implica emparejar contenido en sus solicitudes asíncronas con solicitudes sincrónicas que puede seguir el rastreador.

http://code.google.com/web/ajaxcrawling/

No tengo idea si otros gigantes de búsqueda soportan esta especificación, o si Google lo hace. Si alguien tiene algún conocimiento sobre la practicidad de este método, me encantaría conocer su experiencia.

Edit: a partir de hoy, 14 de octubre de 2015, Google ha desaprobado su esquema de rastreo AJAX :

En 2009, hicimos una propuesta para hacer que las páginas AJAX sean rastreables. En aquel entonces, nuestros sistemas no podían representar ni comprender las páginas que utilizan JavaScript para presentar el contenido a los usuarios. … Los tiempos han cambiado. Hoy, mientras no esté impidiendo que Googlebot rastree sus archivos JavaScript o CSS, generalmente podemos procesar y entender sus páginas web como los navegadores modernos.

H / T: @ mark-bembnowski

Si tiene algún contenido cargado por una solicitud de Ajax, entonces, solo lo cargan los agentes de usuario que ejecutan el código Javascript.

Los robots de los motores de búsqueda generalmente no admiten Javascript (o no funcionan bien).

Por lo tanto, es probable que los rastreadores de los motores de búsqueda no vean su contenido cargado por una solicitud de Ajax, lo que significa que no se indexará; Lo cual no es del todo bueno para tu sitio web.

Cinco años después…

Última actualización en SEO AJAX :

A partir del 14 de octubre de 2015.

Google ahora puede rastrear y analizar el contenido cargado de AJAX . Ya no se necesita SPA u otra página renderizada AJAX para preparar dos versiones de sitios web para SEO.

Los rastreadores no ejecutan JavaScript, así que no, su contenido no será visible para ellos. Debe proporcionar un método alternativo para llegar a ese contenido si desea que se indexe.

Debes apegarte a lo que se llama “degradación elegante” y “mejora progresiva”. Básicamente, esto significa que su sitio web debe funcionar y el contenido debe estar accesible cuando empiece a deshabilitar algunas tecnologías.

Construya su sitio web con una navegación clásica, y luego “acájala”. De esta manera, no solo está indexado correctamente por los motores de búsqueda, sino que también es amigable para los usuarios que lo navegan con dispositivos móviles / con JS deshabilitado / etc.

Dos años después, los motores de búsqueda Bing y Yahoo también son compatibles con el Ajax Crawling Standard de Google. La información sobre el estándar se puede encontrar aquí: https://developers.google.com/webmasters/ajax-crawling/docs/getting-started .

La respuesta aceptada a esta pregunta ya no es precisa. Como esta publicación aún se muestra en los resultados de búsqueda, resumiré los últimos hechos:

En algún momento de 2009, Google lanzó su propuesta de rastreo AJAX . Otros motores de búsqueda agregaron soporte para este esquema poco después. A partir de hoy, 14 de octubre de 2015, Google ha desaprobado su esquema de rastreo AJAX :

En 2009, hicimos una propuesta para hacer que las páginas AJAX sean rastreables. En aquel entonces, nuestros sistemas no podían representar ni comprender las páginas que utilizan JavaScript para presentar el contenido a los usuarios. … Los tiempos han cambiado. Hoy, mientras no esté impidiendo que Googlebot rastree sus archivos JavaScript o CSS, generalmente podemos procesar y entender sus páginas web como los navegadores modernos.