BLOGJM DIGITAL
http://www.JM-DIGITAL.com.br/BLOG

www.jm-digital.com.br

Página Principal do BLOG

HOME  |  CONTATO  |  DOWNLOAD  |  NEWSLETTER  |  MAPA DO SITE

 

eBook Grátis: Como Criar o seu Negócio Online Gerando Novas Fontes de Renda
Baixar Agora o seu
eBook Grátis !

 

Dicas para Webmasters | Postado em 30/07/2009 as 07:23 - 095

Blog JM DIGITAL Tudo Sobre Robots.txt e Sitemap
A utilização correta dos arquivos Robots.txt e Sitemap é fundamental para ter o seu site ou mini site corretamente indexado nos bancos de dados dos mecanismos de buscas. Eles também podem fornecer algum controle sobre quais conteúdos podem ou não ser indexados pelos mecanismos de pesquisa.

Tudo Sobre Robots.txt e Sitemap

Robots, Spiders e Crawlers
Para encontrar novos web sites ou atualizar as páginas dos sites já existentes e manter atualizados os seus bancos de dados, os mecanismos de busca como Google e outros, utilizam mecanismos (softwares) chamados de Robots, Spiders ou Crawlers que varrem constantemente a Internet à procura de novas páginas de web sites ou revisitam web sites já cadastrados em seus bancos de dados para atualizar as informações. Afinal de contas, uma página web pode sofrer alterações constantes.

Uma vez que o seu web site esteja cadastrado no banco de dados dos mecanismos de busca, ele será visitado de tempos em tempos por estes pequenos agentes em busca de novas informações e atualizando as já existentes. Desta forma, os mecanismos de busca podem exibir um resultado com base em dados sempre atualizados e consequentemente, mais precisos.

Como funcionam os Spiders: Componentes dos Mecanismos de Pesquisa

Para ajudar o trabalho destes pequenos agentes, você pode e deve utilizar dois pequenos arquivos em formato texto para orientar os robots e ajudá-los a obter todas as informações do seu web site com mais facilidade. 

Lembre-se: Ajudando os mecanismos de busca, você estará contribuindo para uma melhor indexação do conteúdo de seu web site nestes mecanismos, e como consequência, atraindo mais e melhores visitas para os seus negócios online.

Para que serve o Arquivo Robots.txt ?
O arquivo robots.txt serve para orientar estes pequenos agentes sobre o que podem e não podem fazer sobre a indexação do conteúdo do seu web site. Vamos supor que você possui uma área restrita e não quer que as páginas e arquivos desta área restrita apareçam nos resultados dos mecanismos de pesquisas. Utilizando o robots.txt você pode informar ao robot que ele não deve considerar esta área e portanto, ela não aparecerá nos resultados das pesquisas.

Conteúdo de um Robots.txt
É um pequeno arquivo em formato texto que você poderá criar com qualquer editor de textos puro. Para orientar os robots, existem alguns comandos e regras que seguem:

O arquivo robots.txt deve ficar no diretório raiz do seu web site.

O Conteúdo de um arquivo robots.txt se parece com o texto abaixo:

User-agent: *
Disallow: /confidencial
Disallow: /protegido

Neste caso, você está dizendo aos robots que eles podem indexar todos os arquivos do seu web site, exceto os que estão nos diretórios /confidencial e /protegido.

User-agent
No exemplo, o asterisco (*) indica "todos os robots", ou seja, a restrição é para todos. Esta é a configuração mais utilizada e a mais recomendada.

Disallow
Serve para você indicar aos robots quais páginas ou diretórios NÃO DEVEM ser indexados, ou seja, não irão aparecer nos resultados das pesquisas.

Desabilita a indexação de todos os arquivos do diretório /confidencial
Disallow: /confidencial

Desabilita a indexação da página projeto.htm do diretório /confidencial
Disallow: /confidencial/projeto.htm

Seu web site inteiro não será cadastrado
Disallow: /

Outros Exemplos:

User-agent: *
Disallow: /confidencial
Disallow: /protegido
Disallow: /img
Disallow: /file.html

User-agent: *
Disallow: /mensagem.htm
Disallow: /deposito.htm
Disallow: /modelos/exclusivo.htm
Disallow: /download

Indicando um Sitemap no Robots.txt
Para indicar a utilização de um sitemap e facilitar a vida dos robots para encontrar todas as páginas do seu web site, você deve criar um sitemap (veja mais detalhes adiante) e indicar sua localização do arquivo robots.txt.

Neste exemplo, você esta dizendo que o seu sitemap está no diretório raiz do seu web site e o nome do arquivo é sitemap.txt.

User-agent: *
Disallow: /confidencial
Disallow: /protegido
Sitemap: http://www.seu-site.com.br/sitemap.txt

Neste exemplo, você esta dizendo que o seu sitemap está no diretório /sitemap.

User-agent: *
Disallow: /confidencial
Disallow: /protegido
Sitemap: http://www.seu-site.com.br/sitemap/sitemap.txt

Mais Informações sobre robots.txt na wikipedia em:

http://pt.wikipedia.org/wiki/Robots.txt

Ou

http://www.robotstxt.org

Conteúdo de um Sitemap
Um arquivo sitemap serve para indicar todas as páginas de um web site e, com ele, os robots podem encontrar e indexar o conteúdo do seu web site sem precisar percorrer todas os links de todas as páginas de um web site, o que consumiria muito mais tempo e recursos de processamento. Imagine se os robots tivessem que percorrer todas as páginas de todos os web sites para encontrar os links e cadastrar seus conteúdos. Parece loucura ? E é mesmo. Agora imagine que com um sitemap, os robots podem ir direto ao ponto economizando tempo e recursos.

Você pode criar um sitemap em formato texto ou xml, mas para facilitar vamos ver um exemplo de um sitemap em formato texto que você pode criar facilmente em qualquer editor de textos puro.

A localização do sitemap deve estar de acordo com o que foi informado no arquivo robots.txt. Você pode dar o nome que quiser ao arquivo, mas recomendo sitemap.txt.

Um sitemap em formato texto se parece como o exemplo:

http://www.seu-site.com.br/index.htm
http://www.seu-site.com.br/artigos.htm
http://www.seu-site.com.br/artigos-1.htm
http://www.seu-site.com.br/artigos-2.htm
http://www.seu-site.com.br/artigos-3.htm
http://www.seu-site.com.br/artigos-4.htm
http://www.seu-site.com.br/pedido.htm
http://www.seu-site.com.br/blog/index.htm
http://www.seu-site.com.br/blog/artigo-1.htm
.
.
.

Um sitemap em formato texto é simplesmente uma lista de todas as páginas do seu web site (as que você quer que apareça nos resultados das pesquisas) com o endereço completo. Com um sitemap, toda vez que o robot visitar o seu web site, ele poderá descobrir rapidamente se existem novas páginas criadas e também atualizar com maior eficiência os dados do seu web site.

Se você quiser criar um sitemap em XML, pode acessar a ferramenta online e gratuita no link abaixo:

http://www.xml-sitemaps.com

Mais Informações sobre sitemaps em:

http://www.sitemaps.org/pt_BR

Para Não Restar Dúvidas

Vamos supor a seguinte configuração para o seu mini site:

Raiz: /
Imagens: /img
Área Restrita: /clientes

Onde os arquivos estão assim:

/index.htm
/artigos.htm
/contato.htm
/pedido.htm
/politica_privacidade.htm
/garantias.htm
/img/logo.jpg
/img/produto.jpg
/clientes/exclusivo.htm
/clientes/presentes.htm

Então seus arquivos robots.txt e sitemap.txt ficariam assim:

Considerando o endereço URL como www.seu-site.com.br

Arquivo robots.txt

User-agent: *
Disallow: /clientes
Sitemap: http://www.seu-site.com.br/sitemap.txt

Arquivo sitemap.txt

http://www.seu-site.com.br/index.htm
http://www.seu-site.com.br/artigos.htm
http://www.seu-site.com.br/contato.htm
http://www.seu-site.com.br/pedido.htm
http://www.seu-site.com.br/politica_privacidade.htm
http://www.seu-site.com.br/garantias.htm


Não se Esqueça: de atualizar o seu sitemap.txt sempre que criar um novo conteúdo (nova página) para o seu web site.

Neste exemplo, os dois arquivos ficarão no diretório raiz do seu web site.

Conclusão
Criar um robots.txt e um sitemap para o seu site ou mini site é indispensável se você quer que os mecanismos de buscas apresentem corretamente seus conteúdos nos resultados das pesquisas.

Recomendo a Leitura dos Artigos Complementares:

Tudo o que Você Precisa Saber sobre SEO

SEO Express: 8 Técnicas Básicas que Você pode Implementar Facilmente

Gostou ? Não Gostou ? Comente !

Assinar este Conteúdo por E-MAIL ou RSS FEED

Mais Dicas e Ferramentas para Webmasters Iniciantes

Um Grande abraço a Todos !

Artigos Recentes | Mais Visitados | Indique e Ganhe | RSS Feeds
-

 

Gerador de Livro Digital (eBook) com Qualidade Profissional

eWriterpro
Criação de eBooks Profissionais

Dois em UM: Editor de Textos e Gerador de Arquivos PDF para Criação de eBooks Profissionais

Escreva seu eBook com o E-WriterPro. Insira seus gráficos e links. Salve o arquivo como um arquivo PDF - Utilizando os Recursos do Programa.
Feito! Você tem o seu próprio Produto de Informação!

Blog JM DIGITAL

www.jm-digital.com.br/BLOG
Sobre Internet, Técnicas SEO, e-Commerce e Geração de Tráfego em Sites e Blogs