Hoy os voy a enseñar como crear o editar el archivo robots.txt directamente desde el WordPress. Sin necesidad de entrar en el FTP. Vamos a crear o editar el archivo robots.txt usando el plugin Yoast SEO.
El archivo robots.txt, yo siempre lo he subido directamente a través de la FTP. Pero desde que se puede hacer a través del Yoast, he cambiado de método sin pensármelo dos veces. Hacerlo directamente desde el WordPress te ahorra tiempo y resulta mucho más cómodo.
Así es como se hace:
- Lo primero que tienes que hacer es instalar el plugin Yoast SEO.
- Una vez instalado, selecciona desde el menú del Yoast, «herramientas»
- Selecciona la opción «editor de archivos»
- Edita el archivo robots.txt y «guarda los cambios»
Puedes ver este vídeo de sólo un minuto de duración en el que te explico como hacerlo paso a paso.
Qué poner en el archivo robots.txt
El archivo robots.txt indica a los buscadores qué pueden rastrear en un sitio web. Por eso, tendrás que personalizarlo para cada web. Esta es la documentación de Google Developers sobre los arhivos robots.txt en español.
Te voy a dar el formato que uso yo normalmente en WordPress, para una web estándar que no tiene nada de particular:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.tuweb.com/sitemap_index.xml
El sitemap también lo puedes ver desde el plugin de Yoast SEO.
