Cuilでサイトがダウン?

次の記事

ワインブロガーVaynerchuckがTシャツ検索エンジン「PleaseDressMe」公開

Cuil Logo

悲運の“グーグルキラー”CuilがTwicelerというインデックス専用ボットを世界中のサイトに放ち、結果、サイト多数がダウンの障害に見舞われたという匿名のタレコミが今朝方あった。

「何が原因で起こったかは分からないが、Cuilがサイトをインデックスしにくると、とにかくトラフィックがすごくてサイトを完全に潰してしまうのだ」と、このタレコミの主は書いている。「あまりにもひどいのでサイトが完全にダウンしてしまうほどだよ。このサイトの“インデックス”は24時間やってくるので、こちらとしてもサイトへのトラフィックは1秒2パケットまで制限して残りの分は処分して対処せざるを得なかった。そうでもしないと、サイトが使いものにならなくなってしまうからね」

Admin Zoneのフォーラムも、このCuilのあまりに熱心なインデックス手法の話でもちきりだ。サイトにはTwicelerロボットのせいでサイトがダウンしたという投稿が数え切れないほど寄せられている。あるユーザーはこう書いている。「(このボットは)ヒルのように大量のバンド幅を食ってる。―今月はもう2GB近くまで来て結局ブロックしたけど、なんと7万回近くも来てたんだ!」

サイトオーナーの中には、Cuilのサイトインデックス手法はどう見ても科学的と呼べるものではなく、それどころか“素人芸”そのものだ、という厳しい声もある。 また、Twicelerの襲撃に遭った人の話では、このボットは「サイトをランダムに攻撃し、リンクでアクセスできないページがあると、それを探し当てようと擬似ランダムなURLをずっと推定・生成し続けていく。それでサイトがダウンして機能停止してしまうのだ」という。

怒ったサイトオーナーらがCuilに問い合わせて、Twicelerが何故こんなに頻繁にサイトに来るのか理由を尋ねてみたところ、Cuil社運用エンジニアJames Akersから以下のような返事がきた。「Twicelerは当社が新検索エンジン向けに開発中の実験用クローラです。当社にとってはこれがrobots.txtの命令に従うことを確かめるのも大事ですが、クロールして欲しくないサイトはクロールしないことを確かめるのも重要です。ご希望なら、クロール対象外のサイトに追加して差し上げても構いません。返信用のメールアドレスがブロック希望ドメインからのものであることも多いですが、対象から外すにはブロックしたいサイトのお名前をまず教えていただく必要があります」

Akersはまた、Cuil側でもTwicelerを装った“クローラ多数”を目撃しているので、サイトオーナーは全ての問題の原因が本当にCuilにあるのかどうか、同社のIPアドレス専用ページに相談した上で判断して欲しいと言っている。

Cuilから取材に返事はまだ来ていないが、どうもTwicelerボットによるサイト猛攻の件は、これ単独の問題には思えない。もし仮にTwicelerが、インデックスの規模を増やしたいというそれだけの理由で、ありもしないページを探そうとしてるという話が本当なら、Cuilとしてもこれ以上ひどい悪評が広がる前に速やかにボットを修正しなくては。

[原文へ]

(翻訳:satomi)