Generador de mapas del sitio y robots.txt

Ingrese las URL de su sitio web (una por línea) o proporcione su dominio. La herramienta genera un archivo de mapa del sitio XML con el formato adecuado que puede descargar y cargar en su servidor en sudominio.com/sitemap.xml.

Un mapa de sitio XML es un archivo que enumera todas las páginas importantes de su sitio web, lo que ayuda a los motores de búsqueda a encontrarlas e indexarlas más rápido. Los sitios web con mapas de sitio enviados a Google Search Console normalmente se rastrean más a fondo.

Después de generar su mapa del sitio, cárguelo en su dominio raíz (sudominio.com/sitemap.xml). Luego vaya a Google Search Console → Sitemaps → Ingrese la URL de su mapa de sitio → Enviar.

Bloquee las páginas que no desea indexar: paneles de administración (/admin/), páginas de inicio de sesión, puntos finales API (/api/), contenido duplicado y páginas de resultados de búsqueda. Permitir siempre: /, /sitemap.xml y todas las páginas de contenido público.

Actualice su mapa del sitio cada vez que agregue o elimine páginas. Para blogs activos o sitios de comercio electrónico, establezca fechas de última modificación y regenere mensualmente. Muchas plataformas CMS (WordPress, Shopify) hacen esto automáticamente.

El presupuesto de rastreo es la cantidad de páginas que el robot de Google rastreará en su sitio dentro de un período de tiempo determinado. Enviar un mapa del sitio limpio y preciso indica qué páginas son más importantes, lo que ayuda a Google a priorizar el rastreo de su mejor contenido en lugar de desperdiciar recursos en páginas duplicadas o de bajo valor.

Active 'Bloquear robots de entrenamiento de IA/LLM' y marque exactamente qué rastreadores bloquear: GPTBot, ChatGPT-User, ClaudeBot, Google-Extended, PerplexityBot, Bytespider y más. Debido a que esas reglas se dirigen a agentes de usuario nombrados, Googlebot y Bingbot permanecen permitidos en su bloque principal 'Agente de usuario: *'. También puedes activar 'Mantener permitidos los motores de búsqueda' para permitirlos explícitamente, incluso junto con un Disallow completo: /.

Un único archivo de mapa del sitio tiene un límite de 50.000 URL (y 50 MB sin comprimir). Divida sus páginas en varios archivos de mapas del sitio, luego use el modo de índice de mapas del sitio para generar un índice de mapas del sitio que enumere cada mapa del sitio secundario. Envíe solo el índice a Google Search Console y buscará el resto.

Ingrese sus URL (o detalles del sitio) para generar un sitemap.xml válido y configure reglas de permitir/no permitir para producir un robots.txt que haga referencia a su mapa del sitio. Copie ambos archivos a la raíz de su sitio.

Agregue reglas de agente de usuario para bots como GPTBot, ClaudeBot, PerplexityBot y Google-Extended, luego Permita o No permita según prefiera. El generador puede incluir estas directivas de rastreadores de IA junto con reglas estándar.

Como mínimo, una línea de agente de usuario, cualquier regla de no permitir/permitir y una referencia de mapa del sitio que apunte a su sitemap.xml. El generador crea un archivo válido con estos y le permite agregar reglas personalizadas.

Es la cantidad de páginas que un motor de búsqueda rastreará en su sitio en un período determinado. Un mapa del sitio limpio y un archivo robots.txt le ayudarán a gastar ese presupuesto en sus páginas importantes.