Выяснил весьма неприятную вещь.

К примеру, IP 64.233.172.24 принадлежит гуглу, используется для индексации (т.е. это чисто рабочий сервер и на нем работает краулер).

А теперь собстно ахтунг.

В логе за месяц накопилась сотня запросов с этого IP.., при этом используются РАЗНЫЕ юзер агенты (чаще всего маскируется под файрфокс и ИЕ6) и при этом передаются ВСЕ соответствующие этим браузерам хедеры, загружаются ВСЕ включенные файлы (иногда неправильно отрабатывает base href) и отрабатываются ВСЕ редиректы. Т.е. вычислить то, что это гуглбот уже не представляется возможным.

Можно конечно использовать базы ип гугла, но ходят слухи что гугл заключил договор с несколькими ISP о аренде ип адресов. В купе с маскировкой юзерагента это убивает возможность клоакинга на корню.

seriousrevenue.com