Corrección de URLs no indexables en Screaming Frog

Códigos de estado de indexabilidad

Existen cuatro códigos principales de estado de indexabilidad: 2XX, 3XX, 4XX y 5XX.

Código 200: un motor de búsqueda puede acceder con éxito a la página.
Código 301La página ha sido trasladada permanentemente a una nueva ubicación.
Código 302La página ha sido trasladada temporalmente a una nueva ubicación.
Código 404: la página no pudo ser encontrada.
Código 500: el servidor ha encontrado un error de cliente.

Estos códigos son esenciales para entender cómo un motor de búsqueda interactúa con su sitio web.

La comprensión de estos códigos de estado de indexabilidad le permite controlar mejor cómo la rana gritona encuentra un error al escanear su sitio web.

200 Códigos de estado

En la mayoría de los casos, se ha aplicado una etiqueta no-index al sitio web creando un estado No-indexable.

Si tiene un sitio web de WordPress, puede consultar Ajustes >> Lectura >> Visibilidad en los motores de búsqueda para ver si se ha marcado la casilla que hace que el sitio web se configure como no-index.

Si eso no resuelve su problema, puede comprobar las páginas individuales para una etiqueta no-index; si usted está usando el plugin Yoast, puede comprobar en el nivel de la página en Avanzado >> ¿Permitir que los motores de búsqueda muestren esta página en los resultados de búsqueda?

También puede comprobar su archivo Robots.TXT, que puede encontrar en su sitio web yendo al nombre del dominio seguido de domain.com/robots.txt. Buscará un Disallow: / el escenario.

Por último, puedes mirar las etiquetas canónicas de tu página

La URL en el navegador y rel="etiqueta canónica" deben coincidir. Si son incorrectos (por ejemplo Rel está configurado como HTTP y la página web está configurada como HTTPS), puede corregir la URL canónica mediante la función Mejor plugin de búsqueda y reemplazo o en el plugin Yoast.

3XX Códigos de error

Cuando vea un código de error 3XX, la URL está redirigida. Tendrá que arreglar manualmente las redirecciones de URL en su sitio web o utilizar un plugin. 3XX significa que los motores de búsqueda sólo pueden indexar el destino final.

Códigos de error 404

Si está experimentando errores 4XX, puede arreglar los enlaces manualmente o utilizar un plugin como Redirection. Los errores 404 no son indexables ya que son los "Página no encontrada" página de advertencia.

Los errores 403 indican en la mayoría de los casos que un sitio web externo está bloqueando su rastreador por razones de seguridad.

5XX Códigos de error

El código de error 5XX significa que ha ocurrido un Error Interno del Servidor. Este error es comúnmente causado por Screaming Frog escaneando demasiado rápido para el servidor y se sobrecarga, quedándose sin recursos del servidor (memoria).

Para solucionar este error, puede actualizar el servidor de su sitio web o reducir la velocidad con la que el rastreador escanea su sitio web.

En Screaming Frog, puede actualizar la velocidad de rastreo yendo a Configuración >> Velocidad >> Hilo máximo.