インターネットに対して、何か情報を発信しているとBOTと言われる情報取得ツールを使って大量にアクセスしてくる輩が多いです。

インターネットは無法地帯ですねー。

それで、サーバーの負荷がかかってサービスが止まってしまったりしたら問題ですよね？

それで対象方法ですがnginxの場合は下記の方法をしました。

Nginxでのbot除外方法

if ( $http_user_agent ~* (SemrushBot|AhrefsBot|Linguee|proximic|BLEXBot|GrapeshotCrawler|Mappy|MJ12bot|MegaIndex|bidswitchbot|SMTBot|ltx71|integralads|jet-bot|trendictionbot) ) {
return 403;
}

ユーザーエージェントに、指定の文字列が含まれる場合に「403」を返します。
サーバーダウンと同じ状態とみなされ、フロントサーバーがエラーを返します。

上記コードは2019年6月時点での拒否したいbotを入れています。
上位のSEO・マーケティング系を拒否。各国の検索エンジンは拒否していません。

作業後は設定を反映します。

sudo service nginx restart # ubuntuの場合

これで大量のBOTからのアクセスが減りました。めでたしめでたし