Docela by mne ale taky zajimalo, podle jakeho klice Google prohledava obsahy serveru. Napriklad v mem pripade mi kazdy den cca 6krat projede server spider Googlu a hleda soubor robots.txt aby vedel, jak se ma chovat. Striktne tam definuji, ze nechci zadny crawling, protoze se obsah stranek casto dynamicky meni.