O que é robots.txt?

robots.txt é um arquivo de texto que pode ser utilizado para restringir robôs da Web para acessar o seu web site apenas de formas de que você aprovar.

Este arquivo robots.txt do Google Imagebot blocos de todo o web site:

  User-agent: Googlebot-Image 
  Disallow: / 

Para obter mais informações sobre robots.txt, deve ler-se um padrão para exclusão por robôs.

Verifique a sintaxe do seu robots.txt

Várias ferramentas baseadas na Web estão disponíveis, que irá recuperar o arquivo robots.txt de seu site e verificar se há erros de sintaxe.

Bad Robots

Alguns web robôs irá utilizar-se quantidades consideráveis de largura de banda e recursos do sistema, enquanto retornando pouco ou nenhum benefício prático para o web site proprietário.

Para sua comodidade, mantemos uma lista de alguns desses maus robôs em robots.txt formato.



Top 5 Free Networking Ferramentas

Bookmark O que é robots.txt?

Latest Blog Posts


Inglês Inglês Alemão Alemão Espanhol Espanhol Francês Francês Italiano Italiano Português Português Russo Russo Holandês Holandês
Grego Grego Hindi Hindi Japonês Japonês Coreano Coreano Chinês Chinês Chinês (simplificado) Chinês (simplificado) Árabe Árabe

Copyright 2009 Tech-FAQ. Todos os direitos reservados. Política de Privacidade.