¿Que es el Crawling?
Rastreo: ¿Pueden los motores de búsqueda encontrar sus páginas?
Como acaba de aprender, asegurarse de que su sitio sea rastreado e indexado es un requisito previo para aparecer en las SERP. Si ya tiene un sitio web, puede ser una buena idea comenzar viendo cuántas de sus páginas hay en el índice. Esto proporcionará una gran información sobre si Google está rastreando y encontrando todas las páginas que desea, y ninguna que no.
Una forma de comprobar sus páginas indexadas es "sitio: sudominio.com", un operador de búsqueda avanzada . Dirígete a Google y escribe "sitio: tudominio.com" en la barra de búsqueda. Esto devolverá los resultados que Google tiene en su índice para el sitio especificado:
El número de resultados que muestra Google no es exacto, pero le da una idea sólida de qué páginas están indexadas en su sitio y cómo se muestran actualmente en los resultados de búsqueda.
Para obtener resultados más precisos, supervise y utilice el informe Cobertura del índice en Google Search Console. Puede registrarse para obtener una cuenta gratuita de Google Search Console si actualmente no tiene una. Con esta herramienta, puede enviar mapas de sitio para su sitio y controlar cuántas páginas enviadas se han agregado realmente al índice de Google, entre otras cosas.
Si no aparece en ningún lugar de los resultados de la búsqueda, existen algunas razones posibles por las que:
- Su sitio es nuevo y aún no se ha rastreado.
- Su sitio no está vinculado a ningún sitio web externo.
- La navegación de su sitio hace que sea difícil para un robot rastrearlo de manera efectiva.
- Su sitio contiene un código básico llamado directivas del rastreador que bloquea los motores de búsqueda.
- Google ha penalizado su sitio por tácticas de spam.
Indique a los motores de búsqueda cómo rastrear su sitio
Si usó Google Search Console o el operador de búsqueda avanzada "site: dominio.com" y descubrió que algunas de sus páginas importantes faltan en el índice y / o algunas de sus páginas no importantes se han indexado por error, hay algunas optimizaciones que puede implementar para orientar mejor al robot de Google cómo desea que se rastree su contenido web. Decirle a los motores de búsqueda cómo rastrear su sitio puede brindarle un mejor control de lo que termina en el índice.
¡Optimice el presupuesto de rastreo!
El presupuesto de rastreo es la cantidad promedio de URL que el robot de Google rastreará en su sitio antes de salir, por lo que la optimización del presupuesto de rastreo garantiza que el robot de Google no pierda el tiempo rastreando sus páginas sin importancia con el riesgo de ignorar sus páginas importantes. El presupuesto de rastreo es más importante en sitios muy grandes con decenas de miles de URL , pero nunca es una mala idea evitar que los rastreadores accedan al contenido que definitivamente no le importa. Solo asegúrese de no bloquear el acceso de un rastreador a las páginas en las que ha agregado otras directivas, como las etiquetas canónicas o noindex. Si Googlebot está bloqueado en una página, no podrá ver las instrucciones en esa página.
¿Pueden los rastreadores encontrar todo su contenido importante?
Ahora que conoce algunas tácticas para garantizar que los rastreadores de los motores de búsqueda se mantengan alejados de su contenido sin importancia, conozcamos las optimizaciones que pueden ayudar al robot de Google a encontrar sus páginas importantes.
A veces, un motor de búsqueda podrá encontrar partes de su sitio rastreando, pero otras páginas o secciones pueden quedar ocultas por una razón u otra. Es importante asegurarse de que los motores de búsqueda puedan descubrir todo el contenido que desea indexar, y no solo su página de inicio.