Cómo funciona Crawling
Presupuesto de rastreo en SEO
El presupuesto de rastreo es simplemente saber que las arañas no pierden tiempo rastreando las páginas no deseadas. El presupuesto de rastreo es una característica importante para los sitios web que tienen miles de URL. También se puede decir que el presupuesto de rastreo es el número promedio de páginas que las arañas rastrean antes de salir del sitio web. Es posible que a veces las arañas o los robots puedan encontrar algunas partes específicas del sitio web mientras que otras páginas o secciones están ocultas por muchas razones. Asegúrese siempre de que las arañas puedan indexar y rastrear cada parte del sitio web con todo el contenido y no sólo la página de inicio. Cuando las arañas empiezan a visitar su sitio web, el proceso de rastreo comienza a partir de ahí con una lista de direcciones web de mapas de sitios y rastreos anteriores proporcionados por los propietarios del sitio. La consola de búsqueda proporciona una ideología detallada sobre cómo Google rastrea su sitio web con frecuencia para ofrecer los mejores resultados posibles a sus usuarios.
¿Por qué los motores de búsqueda asignan presupuestó de rastreo a los sitios web?
Porque no tienen recursos ilimitados, y dividen su atención en millones de sitios web. Así que necesitan una manera de priorizar su esfuerzo de rastreo. Asignar presupuesto de rastreo a cada sitio web les ayuda a hacer esto.
¿Cómo asignan el presupuesto de rastreo a los sitios web?
Eso se basa en dos factores, límite de rastreo y demanda de rastreo:
- Límite de rastreo / carga del host: ¿cuánto rastreo puede manejar un sitio web y cuáles son las preferencias de su propietario?
- Demanda de rastreo / programación de rastreo: qué URL valen (re)rastrear más, en función de su popularidad y la frecuencia con la que se actualiza.
El presupuesto de rastreo es un término común dentro del SEO. El presupuesto de rastreo a veces también se conoce como espacio de rastreo o tiempo de rastreo.
Cómo funciona el límite de rastreo / carga del host en la práctica?
El límite de rastreo, o la carga del host si lo desea, es una parte importante del presupuesto de rastreo. Los rastreadores de motores de búsqueda están diseñados para evitar sobrecargar un servidor web con solicitudes, por lo que tienen cuidado con esto.¿Cómo determinan los motores de búsqueda el límite de rastreo de un sitio web? Hay una variedad de factores que influyen en el límite de rastreo. Por nombrar algunos:
- Signos de plataforma en mal estado: con qué frecuencia se solicita el tiempo de espera de las URL o los errores del servidor devueltos.
- La cantidad de sitios web que se ejecutan en el host: si su sitio web se ejecuta en una plataforma de alojamiento compartido con cientos de otros sitios web, y tiene un sitio web bastante grande, el límite de rastreo para su sitio web es muy limitado, ya que el límite de rastreo se determina a nivel de host. Tienes que compartir el límite de rastreo del host con todos los demás sitios que se ejecutan en él. En este caso, sería mucho mejor que en un servidor dedicado, que muy probablemente también disminuirá masivamente los tiempos de carga de sus visitantes.
Otra cosa a considerar es tener sitios móviles y de escritorio separados ejecutándose en el mismo host. También tienen un límite de rastreo compartido.