Muitos operadores de sites estão inseguros. Aparentemente, é absolutamente necessário ter um arquivo chamado robots.txt. O que é?
Windows + Linux / Inglês / Código aberto. Se você tem uma página inicial, geralmente deseja ser encontrado. Há uma grande frustração quando sua própria página não aparece no Google. Isso pode muito bem ser devido ao arquivo robots.txt. Mas só se estiver lá. Este arquivo só pode fazer uma coisa: proibir.
No arquivo robots.txt, você pode proibir que programas automáticos que navegam na Internet 24 horas por dia acessem suas páginas. Você pode pronunciar a proibição de maneira geral para todos esses robôs ou para alguns deles. Você pode bloquear suas páginas completamente ou apenas algumas áreas.
Se o arquivo não existe, portanto, não há proibições. Suas páginas estão abertas a todos os motores de busca. Se você ainda não aparece no Google, surge uma questão completamente diferente: Você já registrou suas páginas? A melhor coisa a fazer é fazer isso imediatamente. Basta inserir o endereço aqui:
https://www.google.com/webmasters/tools/submit-url
Para fazer isso, você precisa fazer login em sua conta do Google.
Para que um arquivo robots.txt ausente seja um problema, o servidor também deve estar configurado incorretamente. Então, um robô pode tentar acessar o arquivo e encontrar mensagens de erro incomuns, fazendo com que o processo seja abortado. Mas este caso é muito improvável.
Se você deseja criar um arquivo robots.txt, salve-o na pasta principal do seu servidor web. Se você quiser permitir que todos façam tudo, escreva o seguinte nele:
Agente de usuário: *
Disallow:
A linha "User-Agent" indica a quem se aplica a proibição. * significa: para todos. A linha "Disallow" expressa a proibição. Se não houver mais nada, significa que todos os acessos são permitidos.
Mais sobre o assunto:Cortina aberta, aí vem seu site: Como criar um site com pouco esforço
