User 1527141
User 1527141
Machacateclados
Machacateclados

Desde el día 13 y 14 de marzo Googlebot no ha accedido a dos blogs que llevo, siendo así que antes los rastreaba  diariamente (<meta name="revisit-after" content="1 days" /&gt

La herramienta 'Análisis de robots.txt' para ver si el archivo robots.txt bloquea URL específicas, me dice:
- El archivo robots.txt no es válido.

- El archivo robots.txt contiene más de 5000 caracteres. Esta herramienta puede analizar archivos robots.txt con 5000 caracteres como máximo.

Compruebo que el archivo robots.txt muestra todo el código fuente correspondiente a esta página vuestra http://blogs.miarroba.com/error.php que nada tiene que ver...

Si el análisis lo repito vaciando temporalmnte el contenido del archivo me dice: autorizado

¿Podéis mirarlo ahí?

Avatar Image
Administrador del foro
Administrador del foro

Corregido, hemos creado un fichero /robots.txt genérico que permite analizar la página a todos los robots sin limites.

Luis Mendaña (LiM),
https://miarroba.com
Cita
Corregido, hemos creado un fichero /robots.txt genérico que permite analizar la página a todos los robots sin limites.


¿que antes la teniais limitada por algo?
Avatar Image
Administrador del foro
Administrador del foro

No, no habia limites, es más, los robots que yo sepa, si no encuentran fichero robots.txt correcto consideran que pueden entrar hasta la cocina..

Luis Mendaña (LiM),
https://miarroba.com
ldmar
Usuario Novato
Usuario Novato

necesito modificar mi archivo robots.txt y no se como hacerlo.

gracias

ATENCIÓN: Este tema no tiene actividad desde hace más de 6 MESES,
te recomendamos abrir un nuevo tema en lugar de responder al actual
Opciones:
Ir al subforo:
Permisos:
TU NO PUEDES Escribir nuevos temas
TU NO PUEDES Responder a los temas
TU NO PUEDES Editar tus propios mensajes
TU NO PUEDES Borrar tus propios mensajes
Temas similares
No se han encontrado temas similares