O que é robots.txt?
robots.txt é um arquivo de texto que pode ser utilizado para restringir robôs da Web para acessar o seu web site apenas de formas de que você aprovar.
Este arquivo robots.txt do Google Imagebot blocos de todo o web site:
User-agent: Googlebot-Image Disallow: /
Para obter mais informações sobre robots.txt, deve ler-se um padrão para exclusão por robôs.
Verifique a sintaxe do seu robots.txt
Várias ferramentas baseadas na Web estão disponíveis, que irá recuperar o arquivo robots.txt de seu site e verificar se há erros de sintaxe.
Bad Robots
Alguns web robôs irá utilizar-se quantidades consideráveis de largura de banda e recursos do sistema, enquanto retornando pouco ou nenhum benefício prático para o web site proprietário.
Para sua comodidade, mantemos uma lista de alguns desses maus robôs em robots.txt formato.
 |
Bookmark O que é robots.txt?
