O que é um arquivo robots txt do WordPress?
O WordPress robots txt é um arquivo que os proprietários de sites criam para informar aos mecanismos de pesquisa como rastrear e indexar seus sites. Ele fornece aos mecanismos de pesquisa como o Google um guia para rastreamento e indexação para garantir que as páginas mais valiosas sejam indexadas para aparecer nos resultados da pesquisa.
Por que preciso do robots txt para WordPress?
Robots txt para WordPress é crítico porque informa aos mecanismos de pesquisa quais páginas ou pastas eles não devem rastrear.
Para ajudar seu site a aparecer nos resultados de pesquisa, o Google deve rastrear suas páginas e indexá-las. Se você deseja que esses bots de pesquisa rastreiem seu site com eficiência, você deve guiá-los com seu arquivo robots txt. O robots txt do WordPress não impede que os rastreadores indexem determinadas páginas em seu site, isso requer o uso de uma meta tag noindex .
Este arquivo, no entanto, ajuda a orientar os rastreadores para longe dessas páginas e se concentrar em páginas mais importantes que precisam ser indexadas, como páginas de produtos, páginas de serviço ou postagens de conteúdo . O uso de um arquivo robots txt para WordPress também ajuda a impedir que esses bots tornem seu site mais lento . Sem esse arquivo, os bots podem sobrecarregar seu site tentando rastrear páginas diferentes, o que pode resultar em uma experiência de carregamento lento .
Considerando que os sites de carregamento lento custam às empresas R$ 2,6 bilhões em receita anualmente, você não quer arriscar. No geral, usar um arquivo robots txt do WordPress é benéfico para ajudar sua empresa a obter a classificação de suas páginas mais essenciais nos resultados de pesquisa sem tornar seu site lento no processo.
Como testar seu robots txt do WordPress
Depois de adicionar o arquivo robots txt, verifique se ele está funcionando e se os mecanismos de pesquisa podem rastrear seu site.
Você pode testar seu robots txt para WordPress usando o Google Search Console. O Google Search Console oferece uma ferramenta de teste de robots txt para ajudar você a ver se o Google pode rastrear seu site. Veja como você pode verificar :
- Abra a ferramenta de teste de txt
- Percorra o código robots.txt para encontrar os avisos de sintaxe e erros de lógica destacados
- Digite o URL de uma página em seu site na caixa de texto abaixo
- Selecione o user-agent que deseja simular na lista suspensa
- Clique no botão Testar
Depois de apertar o botão de teste, ele dirá “ACEITO” ou “BLOQUEADO”. Essa notificação informará se o Google pode rastrear sua página ou não.
Geralmente, você deseja ver “ACEITO”, a menos que esteja testando o URL de uma página que não deseja que o Google rastreie e indexe. Se aparecer algum URL como “BLOQUEADO” que você não deseja bloquear, você terá que voltar ao seu arquivo robots txt, fazer alterações, salvá-lo e tentar testar o URL novamente.