Administra y genera los robots.txt de tu sitio de noticias
Otorgamos permisos para que puedan administrar y gestionar los robots.txt desde Thinkindot CMS. Entra y entérate más en este artículo.
Tenemos una buena noticia para aquellos que gestionan el portal del medio digital con Thinkindot CMS.
Sabemos que al ganar autonomía en la administración y gestión de los robots.txt, podrán optimizar cómo su sitio debe ser indexado, y también sabemos que esto es MUY importante para ustedes. Así que trabajamos para hacerlo posible.
Ahora, otorgamos permisos para que puedan hacerlo sin tener que solicitar asistencia externa. Eso sí, es importante que puedan asegurarse de tener el perfil con el permiso indicado.
¿Qué es un robot.txt?
Cuando creamos un sitio web nuevo necesitamos que Google pueda acceder a nuestra página para rastrar nuestra información. Para realizar esta tarea es necesario la creación de un archivo de texto (con extensión.txt) en nuestro dominio para proveer al buscador de toda la información que nos interesa que sepa sobre nuestra página web o negocio. Al mismo tiempo este archivo .txt es usado para impedir que los bots o robots.txt agreguen datos e información que no deseamos compartir
Un archivo robots.txt es un archivo que se encuentra en la raíz de un sitio e indica a qué partes no quieres que accedan los rastreadores de los motores de búsqueda. El archivo utiliza el "Estándar de exclusión de robots", que es un protocolo con un pequeño conjunto de comandos que se puede utilizar para indicar el acceso al sitio web por sección y por tipos específicos de rastreadores web (como los rastreadores móviles o los rastreadores de ordenador).
En otras palabras, los buscadores cuentan con unas máquinas o robots que rastrean la web para clasificar e indexar la mayor cantidad de información posible a sus bases de datos. Los robots.txt son una clase de máquina muy usada en la red para indexar el contenido web.
*Funcionalidad disponible para la versión 4.6 y superiores.
Si tienes dudas o consultas, ¡contáctanos!