Robots.txt

Em uma estratégia de SEO, é de extrema importância garantir que os sites sejam exibidos nas principais buscas dos usuários. Entretanto, na estrutura de um site existem páginas que devem ser acessadas e outras que não precisam ser exibidas nas buscas. Assim, entra em jogo o arquivo denominado robots.txt.

Esse arquivo em formato de texto indica principalmente quais são as páginas que devem ser rastreadas pelos mecanismos de busca. Isso ajuda a direcionar o tráfego para as partes do seu site que devem ter mais atenção e ocultar aquelas em que os usuários não devem encontrar. Conheça mais detalhes sobre o robots.txt a seguir.

O que é o robots.txt?

Em primeiro lugar, entender o que é robot.txt será muito importante para a arquitetura do seu site. Isso porque esse arquivo é o principal responsável por ocultar algumas páginas de um site que não devem ser encontradas em mecanismos de busca.

Ao contrário do que pode parecer, é um equívoco achar que se trata de um recurso ilegal ou sigiloso. Ele consiste em ocultar apenas páginas como login dos administradores, acessos que sejam de exclusividade de usuários, entre outras.

Basicamente, esse arquivo, que como o nome já diz tem formato .txt, deve estar na pasta raiz do site. Dessa forma, o robots.txt para Google, Yahoo, Bing e todos os outros buscadores têm a função de ajudar essas plataformas a identificarem quais páginas não devem ser mostradas.

Outras funções do robot.txt

Além dessas páginas citadas, essa função serve para sinalizar ordens dos robots de motores de busca. Então, toda parte técnica fica “escondida” e só quem tem o acesso de verdade consegue vê-las. Mesmo que alguém pesquise exatamente o que está escrito na página, ela não irá aparecer.

Isso não funciona só com páginas, mas também com imagens e arquivos. No caso das imagens, se o seu site possui infográficos ou designs que são de acesso exclusivo, os arquivos robots.txt irão proteger.

A proteção também se expande para bloquear acessos indesejados, seja por arquivos de script ou outros que não sejam tão importantes, deixando o servidor mais livre.

Como criá-lo?

Mas afinal, como criar o robots.txt? É mais simples do que se imagina, a única exigência é saber alguns comandos que vamos falar um pouco mais para frente. Inicialmente, porém, você só precisa criar o arquivo no próprio bloco de notas do seu computador.

Além disso, você precisa ter o acesso da pasta raiz do seu site para poder hospedar o arquivo. Assim, basta salvá-lo criado no bloco de notas dentro dessa pasta. Depois desse processo, é preciso aplicar alguns comandos. Confira alguns deles a seguir.

Comandos

Se você já conhece um pouco de linguagem de programação, esses comandos serão fáceis no momento de criar um arquivo robots.txt, pois são bem similares ao html. Separamos três comandos principais que são importantes de saber:

• user-agent: esse comando é usado para você identificar e enviar ordens a um robô específico, por exemplo, User-agent Bingbot ou User-agent Googlebot;
• disallow: esse comando é usado para indicar quais são as páginas que não devem aparecer nas pesquisas. Para usá-lo, basta colocar a URL desejada após o comando;
• allow: esse comando é usado para indexar as páginas que você quer que sejam indexadas. Ele serve para indexar algumas páginas dentro do comando Desallow. Por exemplo, você quer que acessem a página “blog”, mas dentro dela não quer que acessem a pasta “arquivos”.

Limitações do Robot.txt

Mesmo parecendo muito útil, esse recurso ainda possui algumas limitações de uso. Começando pelas instruções dadas. Nem sempre os motores de busca obedecerão ao que foi requisitado. Por isso, é interessante trabalhar com outros métodos junto ao robots.txt, a fim de ocultar as páginas no Google, por exemplo.

Cada robô de busca pode entender o seu comando de maneira diferente, mesmo que haja um padrão internacional. Tente adaptar seu arquivo de acordo com o site de busca para que os comandos sejam atendidos.

Por mais que os comandos do robots.txt não mostrem suas páginas escolhidas na busca, isso não impede que outros sites façam referência a ela. Consequentemente, elas podem aparecer de outra maneira na pesquisa. Certifique-se de criar um login e uma senha para que as páginas não tenham acesso.