Tendencias recientes en el indexado de Google
Hice una tabla para revisar el estado de indexación de mis publicaciones recientes.
▲ Tabla con el estado de indexación de mis publicaciones recientes
- Posting Date: fecha en que publiqué el artículo
- Indexing: si fue indexado o no
- Last Crawled: fecha del último rastreo de Google
- Agent Used: tipo de Googlebot utilizado
- Manually Requested: si envié la solicitud de indexación manualmente
El agente (agent) se refiere al tipo de Googlebot que rastrea la página. Hay “Googlebot smartphone” y “Googlebot desktop”, pero el predeterminado es el Googlebot para smartphone, lo que significa que el rastreo se hace como si fuera desde un dispositivo móvil.
Si envío una URL manualmente a través de Search Console, suele indexarse rápido. Pero hay un límite diario para estas solicitudes. Para saber si una página fue indexada gracias a una solicitud manual, se puede revisar esto:
▲ Pantalla donde se verifica si la indexación fue solicitada manualmente
Si en la sección “Creación de índice” aparece una URL canónica declarada por el usuario, significa que esa página fue indexada porque yo la envié manualmente. Si no aparece, significa que Google la rastreó por su cuenta.
Rastrear (crawling) significa que Googlebot visitó la página. Indexar significa que analizó esa página y la guardó en su base de datos. Si la página no es rastreada, no puede ser indexada. Y si no está indexada, no puede aparecer en los resultados de búsqueda.
Presupuesto de rastreo (Crawl Budget)
Antes de entrar en pánico, respira hondo. Vamos parte por parte…
Googlebot tiene algo llamado presupuesto de rastreo. Rastrear páginas consume tiempo, recursos y energía por parte de Google. (¡Ahora resulta que también tengo que preocuparme por la economía del robot!) Por eso Google no puede rastrear toda la web sin límites. El presupuesto depende de la autoridad y fiabilidad del sitio.
¿Es un sitio grande y confiable? → ¡Presupuesto alto!
El presupuesto de rastreo no es exactamente lo mismo que la frecuencia de rastreo, pero un mayor presupuesto normalmente significa que Google visitará el sitio con más frecuencia. Así funciona: cuanto más confíe Google en tu sitio, más recursos decide dedicarle. Por eso publicaciones de Reddit o foros enormes aparecen casi al instante en Google, incluso si el contenido no es gran cosa.
En cambio, mi pequeño blog recién creado probablemente tiene un presupuesto de rastreo muy, muy bajo. Si hay muchas páginas 404, Googlebot “desperdicia” parte de ese presupuesto en errores, y entonces tiene menos oportunidades para rastrear otras páginas. Y los errores 500 / 502 / 503 reducen el presupuesto aún más, porque indican problemas en el servidor.
Durante el desarrollo tuve algunos errores de servidor, y en cierto momento se generaron muchos URLs vacíos… Todo eso podría haber afectado negativamente el presupuesto. Además, si dejo de publicar durante un tiempo, Googlebot visita el sitio con menos frecuencia. Si no hay nada nuevo, no tiene sentido venir seguido.
De momento… voy a dejar de enviar solicitudes manuales y observar unos días. Después volveré a revisar el patrón de rastreo.