Co ciekawe, plik taki znajduje sie rowniez w... Google.
Przeszukiwanie wyszukiwarki moderowane?
http://www.google.pl...ts filetype:txt
Co wolno wyszukiwarkom.
Rozpoczęty przez
orzels
, 22 lip 2005 20:38
2 odpowiedzi w tym temacie
#1
orzels
-
-
- 759 postów
Napisano 22 lipca 2005 - 20:38
Jest pewien prosty sposob aby podejrzec czego nie chca udostepniac do przeszukania administratorzy danej strony. Maly plik tekstowy robots.txt umieszczony w katalogu glownym serwisu pozwala zorientowac sie botowi odwiedzajacemu serwis na co moze sobie pozwolic a gdzie raczej nie powinien wchodzic...
Co ciekawe, plik taki znajduje sie rowniez w... Google.
Przeszukiwanie wyszukiwarki moderowane?
http://www.google.pl...ts filetype:txt
Co ciekawe, plik taki znajduje sie rowniez w... Google.
Przeszukiwanie wyszukiwarki moderowane?
http://www.google.pl...ts filetype:txt
#2
Mac_Abra
-
-
- 674 postów
- Skądsskątowni
Napisano 22 lipca 2005 - 22:51
oj tak tak, to jeden ze składników "pozycjonowania" najprościej mówiąc...
#3
reeye
-
-
- 1 506 postów
-
Płeć:
- SkądWarszawa
Napisano 23 lipca 2005 - 10:57
bardzo prosty robots.txt :
User-agent: *
Disallow: /super-tajne1
Disallow: /super-tajne2
Disallow: /super-tajne3
pozwalaj wszystkim automatom wyszukiwarek szperać , ale nie w /super-tajne
a tu taj jakby ktos chciał coś więcej zobaczyć
http://www.searcheng...ts_tutorial.htm
User-agent: *
Disallow: /super-tajne1
Disallow: /super-tajne2
Disallow: /super-tajne3
pozwalaj wszystkim automatom wyszukiwarek szperać , ale nie w /super-tajne
a tu taj jakby ktos chciał coś więcej zobaczyć
http://www.searcheng...ts_tutorial.htm
Użytkownicy przeglądający ten temat: 0
0 użytkowników, 0 gości, 0 anonimowych
