user-agent, IP whitelist, rDNS
1. User agent легко подменить. 2. Подойдёт только когда у конечных пользователей ограниченый список возможных айпи 3. вот тут интересно, я бы послушал
Ну так все способы такое себе и работают только с официальными ботами поисковиков и подобных. Сколь-нибудь достоверно отделить живого юзера от бота можно разве что через куки + каптчу, в духе того, что делает Cloudflare
Cloudflare bot score
Обсуждают сегодня