|
A utilização correta dos arquivos Robots.txt e Sitemap é fundamental para ter o seu site ou mini site corretamente indexado nos bancos de dados dos mecanismos de buscas. Eles também podem fornecer algum controle sobre quais conteúdos podem ou não ser indexados pelos mecanismos de pesquisa. |
|
Robots, Spiders e Crawlers
Para encontrar novos web sites ou atualizar as páginas dos sites já
existentes e manter atualizados os seus bancos de dados, os mecanismos de busca como Google e outros, utilizam mecanismos
(softwares)
chamados de Robots, Spiders ou Crawlers que varrem constantemente a Internet à procura de novas páginas de web sites ou revisitam web sites já cadastrados em seus bancos de dados para atualizar as informações. Afinal de contas, uma página web pode
sofrer alterações constantes.
| Uma vez que o seu web site esteja cadastrado no banco de dados dos mecanismos de busca, ele será visitado de tempos em tempos por estes pequenos agentes em busca de novas informações e atualizando as já existentes.
Desta forma, os mecanismos de busca podem exibir um resultado com base em dados sempre atualizados e consequentemente, mais precisos. |
|
Para ajudar o trabalho destes pequenos agentes, você pode e deve utilizar dois pequenos arquivos em formato texto para orientar os robots e ajudá-los a obter todas as informações do seu web site com mais facilidade.
Lembre-se: Ajudando os mecanismos de busca, você
estará contribuindo para uma melhor indexação do conteúdo
de seu web site nestes mecanismos, e como consequência,
atraindo mais e melhores visitas para os seus negócios
online.
Para que serve o Arquivo Robots.txt ?
O arquivo robots.txt serve para orientar estes pequenos agentes sobre o que podem e não podem fazer sobre a indexação do conteúdo do seu web site. Vamos supor que você possui uma área restrita e não quer que as páginas e arquivos desta
área restrita apareçam nos resultados dos mecanismos de pesquisas. Utilizando o robots.txt você pode informar ao robot que ele não deve considerar esta
área e portanto, ela não aparecerá nos resultados das pesquisas.
Conteúdo de um Robots.txt
É um pequeno arquivo em formato texto que você poderá criar com qualquer editor de textos puro. Para orientar os robots, existem alguns comandos e regras que seguem:
O arquivo robots.txt deve ficar no diretório raiz do seu web site.
O Conteúdo de um arquivo robots.txt se parece com o texto abaixo:
User-agent: *
Disallow: /confidencial
Disallow: /protegido
Neste caso, você está dizendo aos robots que eles podem indexar todos os arquivos do seu web site, exceto os que estão nos diretórios /confidencial e /protegido.
User-agent
No exemplo, o asterisco (*) indica "todos os robots", ou seja, a restrição é para todos. Esta é a configuração mais utilizada e a mais recomendada.
Disallow
Serve para você indicar aos robots quais páginas ou diretórios NÃO DEVEM ser indexados, ou seja, não irão aparecer nos resultados das pesquisas.
Desabilita a indexação de todos os arquivos do diretório /confidencial
Disallow: /confidencial
Desabilita a indexação da página projeto.htm do diretório /confidencial
Disallow: /confidencial/projeto.htm
Seu web site inteiro não será cadastrado
Disallow: /
Outros Exemplos:
User-agent: *
Disallow: /confidencial
Disallow: /protegido
Disallow: /img
Disallow: /file.html
User-agent: *
Disallow: /mensagem.htm
Disallow: /deposito.htm
Disallow: /modelos/exclusivo.htm
Disallow: /download
Indicando um Sitemap no Robots.txt
Para indicar a utilização de um sitemap e facilitar a vida dos robots para encontrar todas as páginas do seu web site, você deve criar um sitemap (veja mais detalhes adiante) e indicar sua localização do arquivo robots.txt.
Neste exemplo, você esta dizendo que o seu sitemap está no
diretório raiz do seu web site e o nome do arquivo é
sitemap.txt.
User-agent: *
Disallow: /confidencial
Disallow: /protegido
Sitemap: http://www.seu-site.com.br/sitemap.txt
Neste exemplo, você esta dizendo que o seu sitemap está no diretório /sitemap.
User-agent: *
Disallow: /confidencial
Disallow: /protegido
Sitemap: http://www.seu-site.com.br/sitemap/sitemap.txt
Mais Informações sobre robots.txt na wikipedia em:
http://pt.wikipedia.org/wiki/Robots.txt
Ou
http://www.robotstxt.org
Conteúdo de um Sitemap
Um arquivo sitemap serve para indicar todas as páginas de um web site e, com ele, os robots podem encontrar e indexar o conteúdo do seu web site sem precisar percorrer todas os links de todas as páginas de um web site, o que consumiria muito mais tempo e recursos de processamento. Imagine se os robots tivessem que percorrer todas as páginas de todos os web sites para encontrar os links e cadastrar seus conteúdos. Parece loucura ? E é mesmo. Agora imagine que com um sitemap, os robots podem ir direto ao ponto economizando tempo e recursos.
Você pode criar um sitemap em formato texto ou xml, mas para facilitar vamos ver um exemplo de um sitemap em formato texto que você pode criar facilmente em qualquer editor de textos puro.
A localização do sitemap deve estar de acordo com o que foi informado no arquivo robots.txt. Você pode dar o nome que quiser
ao arquivo, mas recomendo sitemap.txt.
Um sitemap em formato texto se parece como o exemplo:
http://www.seu-site.com.br/index.htm
http://www.seu-site.com.br/artigos.htm
http://www.seu-site.com.br/artigos-1.htm
http://www.seu-site.com.br/artigos-2.htm
http://www.seu-site.com.br/artigos-3.htm
http://www.seu-site.com.br/artigos-4.htm
http://www.seu-site.com.br/pedido.htm
http://www.seu-site.com.br/blog/index.htm
http://www.seu-site.com.br/blog/artigo-1.htm
.
.
.
| Um sitemap em formato texto é simplesmente uma lista de todas as páginas do seu web site (as que você quer que apareça nos resultados das pesquisas) com o endereço completo.
Com um sitemap, toda vez que o robot visitar o seu web site, ele poderá descobrir rapidamente se existem novas páginas criadas e também atualizar com maior eficiência os dados do seu web site. |
|
Se você quiser criar um sitemap em XML, pode acessar a ferramenta online e gratuita no link abaixo:
http://www.xml-sitemaps.com
Mais Informações sobre sitemaps em:
http://www.sitemaps.org/pt_BR
Para Não Restar Dúvidas
Vamos supor a seguinte configuração para o seu mini site:
Raiz: /
Imagens: /img
Área Restrita: /clientes
Onde os arquivos estão assim:
/index.htm
/artigos.htm
/contato.htm
/pedido.htm
/politica_privacidade.htm
/garantias.htm
/img/logo.jpg
/img/produto.jpg
/clientes/exclusivo.htm
/clientes/presentes.htm
Então seus arquivos robots.txt e sitemap.txt ficariam assim:
Considerando o endereço URL como www.seu-site.com.br
Arquivo robots.txt
User-agent: *
Disallow: /clientes
Sitemap: http://www.seu-site.com.br/sitemap.txt
Arquivo sitemap.txt
http://www.seu-site.com.br/index.htm
http://www.seu-site.com.br/artigos.htm
http://www.seu-site.com.br/contato.htm
http://www.seu-site.com.br/pedido.htm
http://www.seu-site.com.br/politica_privacidade.htm
http://www.seu-site.com.br/garantias.htm
Não se Esqueça:
de atualizar o seu sitemap.txt sempre que criar um novo
conteúdo (nova página) para o seu web site.
Neste exemplo, os dois
arquivos ficarão no diretório raiz do seu web site.
Conclusão
Criar um robots.txt e um sitemap para o seu site ou mini site é indispensável se você quer que os mecanismos de buscas apresentem corretamente seus conteúdos nos resultados das pesquisas.
Recomendo a Leitura dos
Artigos Complementares:
Tudo
o que Você Precisa Saber sobre SEO
SEO Express: 8 Técnicas Básicas que Você pode Implementar Facilmente
Gostou ? Não
Gostou ? Comente
!
Assinar este Conteúdo por E-MAIL
ou RSS
FEED
Mais
Dicas e Ferramentas para Webmasters Iniciantes
Um Grande abraço a Todos !
Artigos
Recentes | Mais
Visitados | Indique
e Ganhe | RSS
Feeds
-
|
