Qualquer um que trabalhe com varejo digital ou com algum tipo de plataforma online deve saber da importância de garantir que seu site fique bem ranqueado nos mecanismos de busca.
Esse é um dos cuidados que mais garantem visibilidade para o seu negócio, e é muito difícil prosperar sem que seja dada a devida atenção para aspectos como as boas práticas de SEO.
Por outro lado, não é como se você desejasse que todas as páginas do seu portal aparecessem nos mecanismos de busca, não é verdade?
Algumas delas estão ligadas diretamente aos serviços exclusivos de seus clientes, ou aos acesso da sua equipe e, portanto, precisam estar “escondidas” dessas ferramentas.
Mas você sabe como fazer para ocultar essas páginas?
O Robots.txt é a ferramenta que pode oferecer a você essa possibilidade e muito mais!
O que é o arquivo Robots.txt?
Para quem não sabe, o Robots.txt nada mais é do que um arquivo que deverá ser salvo na pasta raiz do seu site.
Com a função de avisar para as ferramentas de busca quais são as páginas do seu portal que devem ser acessadas por elas.
Ou seja, é um arquivo que vai virar para o Google ou o Bing e dar-lhes instruções de quais as páginas que eles podem mostrar nas buscas e quais não.
O Robots.txt, como seu próprio nome já nos informa, é um arquivo no formato “.txt” e pode ser criado dentro do bloco de notas do seu computador.
Isso significa que não há necessidade de nenhuma ferramenta mais complexa para conseguir criar esse arquivo e utilizá-lo em seu portal.
Qual a função desse arquivo?
Assim como nós já explicamos, a principal função do Robots.txt é dar ordens para os robôs dos mecanismos de busca.
A partir dessas ordens você consegue direcionar quais páginas do seu site você deseja que tenham mais visibilidade e quais devem ficar ocultas às pesquisas nas ferramentas de busca.
De forma geral, essa é considerada a sua principal função, ajudando a direcionar o tráfego da sua página.
A partir desse controle dos buscadores, você evita que haja qualquer tipo de sobrecarga nas buscas por páginas do seu site que não devem ser exibidas.
Mas essa não é a única função dessa ferramenta.
Ao contrário do que você pode estar imaginando, o Robots.txt, como nós já mencionamos, também é capaz de dar ordens aos buscadores.
Ou seja, esse arquivo possui o poder de mandar, pelo menos de forma parcial, nos mecanismos de busca de sites como o próprio Google, por exemplo.
Quer entender melhor as demais funções desse arquivo?
Controla acessos à imagem
A primeira função, além da mais tradicional, que podemos falar do Robots.txt, é a possibilidade de controlar os acessos às imagens do seu portal.
Ou seja, esse arquivo pode ser utilizado para evitar que as imagens do seu site apareçam nas buscas realizadas no Google ou no Bing, tal como infográficos, ou algum tipo de detalhe técnico dos seus produtos.
Sendo assim, para ter acesso a essas imagens e obter as informações que deseja, o usuário terá que acessar o seu site, o que pode ser benéfico para você.
Por mais que isso seja de grande utilidade, é importante falarmos também sobre as suas limitações.
Afinal, o Robots.txt não é capaz de impedir que outros usuários ou sites copiem os links das suas imagens para utilizá-las — para isso, você vai precisar de outras ferramentas.
Páginas da web
Outro item que também pode ter os seus acessos controlados por esse arquivo são as páginas do seu portal.
Como você já deve saber, existem diversas páginas dentro do seu site, e nem todas elas são interessantes ou importantes para a sua estratégia ao ponto de serem tão requisitadas pelos robôs de busca.
O mais complicado de tudo isso é que, se os robôs de busca constantemente acessarem essas páginas, o número de acessos pode acabar sobrecarregando o servidor que abriga o seu site.
A consequência disso será uma maior lentidão do seu portal, o que significará uma experiência pior para o usuário.
Ao utilizar esse recurso, você evita que os mecanismos de busca acessem essas páginas de acesso restrito, ajudando a otimizar o funcionamento do seu site.
Arquivos e recursos
Além de esconder suas imagens, e até mesmo páginas inteiras do seu site, o arquivo Robots.txt ainda possui mais uma funcionalidade.
Por meio dele, você pode esconder ou bloquear o acesso dos robôs de busca até mesmo a arquivos de script e outros recursos da sua página, o que também ajuda a poupar os seus servidores.
Entretanto, essa funcionalidade precisa ser utilizada com bastante cautela, principalmente para evitar que seu uso indevido não prejudique seu site.
Isso porque, ao esconder certos arquivos que são muito importantes para o carregamento da sua página, você pode prejudicar a análise dos buscadores com a sua página.
Qual a importância do arquivo Robot.txt na otimização de SEO?
Quando tratamos de técnicas de SEO, estamos falando de estratégias e práticas para melhorar a visibilidade do seu site dentro dos mecanismos de busca.
Dessa forma, com um posicionamento melhor nas pesquisas do Google, por exemplo, as chances de alguém optar por acessar o seu portal aumentam consideravelmente.
Normalmente, essas estratégias são utilizadas em conjunto com outras abordagens de marketing de conteúdo, com a intenção de aumentar o tráfego e também as vendas do seu portal.
Mas, nesse caso, você sabe dizer qual é a importância do arquivo Robot.txt, na otimização de SEO do seu site? É isso que vamos explicar agora.
De forma resumida, os robôs de busca do Google e de outros mecanismos de busca possuem uma certa limitação quanto ao número de URLs que podem ser rastreadas.
Ou seja, se o seu site for muito grande, você correrá o risco de ultrapassar o limite permitido pelos robôs, fazendo com que nem todas as suas páginas sejam rastreadas.
Isso pode ser um problema se as páginas rastreadas forem aquelas sem muita utilidade dentro da sua estratégia, enquanto as deixadas de lado sejam as mais importantes.
Portanto, o Robots.txt cumpre um papel fundamental em garantir que apenas as páginas importantes sejam rastreadas, evitando que aquelas mais irrelevantes ocupem esse espaço.
Quais os comandos utilizados no arquivo Robots.txt?
Ao falar sobre o Robots.txt, é necessário deixar claro que, para os robôs de busca obedecerem às ordens desse arquivo, eles precisam entender a linguagem utilizada.
Os comandos usados nesse arquivo funcionam de forma semelhante a diversas outras linguagens conhecidas da programação, como o HTML.
Existem alguns comandos específicos que são mais comuns, e especialmente importantes quando falamos de um arquivo Robots.txt, você sabe quais são eles?
Quer descobrir?
Então continue com a gente que nós vamos te contar!
User-agent
O comando user-agent é aquele que deve ser utilizado quando você deseja direcionar uma ordem para um robô específico.
Ou seja, ele serve para você determinar com qual robô você está falando naquele momento.
É claro que, para fazer isso, você precisa primeiramente conhecer o nome do robô com o qual você quer falar, o que pode ser descoberto acessando o site Web Robots Database.
Após isso, você saberá o nome do robô da ferramenta de busca que usa ao qual você deve se dirigir.
Assim, para dar uma ordem a um robô específico, você deve dar o comando “User-agent: nome do robô”, dentro do arquivo robots.txt.
Ou seja, todas as ordens seguintes serão destinadas a ele.
No caso de você querer dar a ordem para todos os robôs existentes, você deve utilizar o comando com um asterisco, o que ficaria assim: “User-agent:*”.
Disallow
O Disallow é um comando que visa descrever quais serão as páginas que não devem ser acessadas pelo robô em questão.
Ou seja, após seguir o nosso tópico anterior e determinar com que você está falando, agora, você dará de fato uma ordem para o robô em questão.
Da mesma forma que o comando anterior, você deverá utilizar o “Disallow” no arquivo Robots.txt e, em seguida, acrescentar o endereço da página.
Ou seja, se você não quisesse que a página “exemplo.com” fosse acessada, bastaria dar o seguinte comando: “Disallow: exemplo.com”, e seu problema estaria resolvido.
É importante deixar claro que essa funcionalidade não se limita apenas a páginas e portais, podendo ser utilizada para arquivos e pastas específicos também.
Por exemplo, se você não desejasse que a pasta “arquivos” fosse acessada, você só precisaria inserir seu nome após o comando, o que ficaria: “Disallow: /arquivos/”.
Se você preferir, também pode bloquear o acesso a todos os conteúdos que comecem com uma letra específica, o que pode ser uma forma de se organizar previamente para agilizar esse processo.
Nesse caso, se você desejasse evitar o acesso a tudo que começasse com a letra “a”, bastaria dar o comando “Disallow: /a” e nenhum arquivo ou pasta com essa inicial seria acessado.
Allow
O comando Allow tem como função determinar quais arquivos, diretórios e páginas do seu site serão indexadas.
De forma geral, todas as páginas do seu site já costumam ser indexadas pelos robôs de busca. Entretanto, ao utilizar o comando “Disallow”, isso deixa de acontecer.
Portanto, o comando Allow só precisa ser utilizado apenas quando você precisa indexar um arquivo ou pasta específica que está dentro de um diretório bloqueado pelo comando “Disallow”.
Por exemplo, você pode querer indexar a pasta “projetos”, porém, ela se encontra dentro da pasta “arquivos”, do exemplo do tópico anterior, que foi bloqueada.
Para resolver esse problema, você poderia dar o seguinte comando: “Allow: /arquivos/projetos/” e então apenas a pasta desejada será indexada.
Sitemap
Esse comando também é bem útil e costuma ser utilizado para indicar a localização do sitemap do seu portal para o robô de busca.
Dessa forma, você consegue auxiliar o robô a identificar todas as páginas existentes dentro do seu site de forma muito mais prática.
Entretanto, esse comando tem sido cada vez menos utilizado, uma vez que o próprio Google desenvolveu uma ferramenta para auxiliar nessa tarefa.
Conhecido como Google Webmaster Tools, essa ferramenta informa para os robôs de pesquisa a localização do sitemap de forma rápida, além de cuidar de outros aspectos.
É importante lembrar que, para poder utilizar esse comando, o seu sitemap deve estar salvo na pasta raiz do seu site. Feito isso, o comando que deve ser utilizado é: “sitemap:
https://www.seusite.com.br/sitemap.xml”.
Quais são as limitações do robots.txt?
Apesar de suas inúmeras vantagens, não dá para dizer que o Robots.txt seja perfeito, não é verdade?
Assim como qualquer outra ferramenta, ele possui algumas limitações, e é hora de falarmos um pouco sobre elas.
Múltiplas interpretações
Apesar de ser utilizado um padrão internacional, ainda existe um risco de que cada robô de busca interprete de forma diferente os comandos dados no arquivo.
Por conta disso, torna-se necessário conhecer um pouco sobre a sintaxe ideal de cada mecanismo de busca como forma de garantir a eficiência da comunicação.
Ou seja, não basta conhecer a forma ideal de se comunicar com o Google, é preciso aprender a de todos os outros meios de busca individualmente.
Instruções meramente diretivas
Apesar de ser um padrão dentro do mercado, não há realmente nenhuma obrigação por parte das ferramentas de busca de obedecerem a todos os comandos do seu Robots.txt.
Por mais que ele normalmente seja seguido, principalmente pelos robôs do Google, nada garante que outros mecanismos de busca também seguirão essas instruções.
Por isso, é importante contar com outros métodos para complementar o processo de ocultação de suas páginas.
Quais as melhores práticas para o arquivo Robots.txt?
Quando estamos falando do uso de um arquivo Robots.txt, existem algumas práticas que podem ajudar o seu arquivo a se tornar mais eficiente.
Um bom exemplo disso é o uso do asterisco, que além de determinar que aquela ordem está sendo dada para todos os bots de busca, ainda pode cumprir outra função.
Você pode utilizá-lo para aplicar uma diretiva a todos os agentes do usuário e padrões da URL.
No caso de você querer, por exemplo, impedir que os bots acessem todos os arquivos dentro da pasta “tênis” que possuem um ponto de interrogação, em vez de colocar um arquivo de cada vez, você pode dar um único comando dessa forma “Disallow: /tênis/*?”.
Além disso, outra prática muito bem-vinda é a utilização de uma nova linha para cada diretiva nova.
Caso isso não seja feito, os bots dos mecanismos de busca não conseguirão ler os comandos, e eles serão ignorados.
Por fim, mas não menos importante, lembre-se de usar o comando “User-agent” apenas uma vez para cada bot.
Não adianta nada ficar reutilizando o comando todas às vezes antes de dar uma nova diretriz, o efeito será o mesmo, e você apenas deixará o código do arquivo poluído com informações desnecessárias.
Enfim, Robots.txt é um arquivo extremamente útil para qualquer site, limitando as páginas às quais os buscadores têm acesso e ajudando na otimização de SEO do seu site.
Utilizando os comandos de forma correta, você evita atingir o limite de URLs dos buscadores e consegue otimizar o seu desempenho nos mecanismos de busca.
Nosso conteúdo foi útil para você?
Então acesse o nosso blog para continuar a sua leitura e aprender mais sobre como otimizar o SEO do seu site!
