[...] 多くのユーザーは音声、写真、ビデオのコンテンツにタグづけしている。YouTube、Flickrその他ではユーザーはタグをつけることができる。(Googleの人力で写真にタグをつけようとする試みも参照)。タグづけがされていれば検索エンジンだけでなくもちろん人間にとってもコンテンツの内容を把握するのに役に立つ。しかしコンテンツの最上位[コンテンツ全体]に付与されたタグは、たとえそれが存在しても、コンテンツの細かい内容を全体をすべて表現することができない。それでたくさんの内容が索引づけから漏れることになる。 [...]

[...] Like.com はイメージ検索だ。ウェブ上には現在すでにたくさんのイメージ検索エンジンが存在する。しかしそれらは検索をテキストで入力し、そのテキストを画像ファイ ルに添付されたメタデータのテキストと比較することによって検索するものばかりだ。こういう方法で得られるデータは信頼性が低いことで悪名高い。そこで Google などは人手に頼った労働によってサーバに蓄積された画像に内容にふさわしいキーワードを付加する試みをしている。Pixsy のような画像検索専門のエンジンでも画像に付与されたメタデータは少ない。どの検索エンジンも検索はテキストでしか受け付けない。 [...]

[...] Polar Roseは、写真データを意味ある方法で利用するという、近頃重要となりつつ問題を解決することに挑んでいる。キーワード・クエリーを画像結果に転換する〔処理能力を持つ〕コンピューターには、セマンテックデータなしの写真は大した利用意義を持たない。Googleは、ちょっとしたゲームを制作し、ユーザーに写真のタグ付けをさせている。Flickrやその他の競合サービスは、ユーザーにタグ付けしてもらうよううまく配慮している。そして、もちろん、新規参入の「Ookles」は独自のサービスを間もなくリリース予定。しかし、インターネット上の圧倒的多数の画像でセマンテックデータを持つものはほんの少し、あるいは皆無だ。そして、それゆえに、実用目的の利用においては、これら画像は目に見えず存在しないものとなっている。 [...]

[...] よくわからないのは、Googleが得意としているビデオ検索が、画像検索と同じように、全面的にビデオに付けられたメタデータに基づいていること。メディア検索でのGoogleの実績は居眠り状態。人力でイメージにタグ付けする実験をしているが、一方Riyaなどのスタートアップは（新しいLike.comというサービスで）検索結果を返す時、画像そのものの解析を試みている。Googleは1年前、Riyaをほとんど買収しかけたが最後の最後で手を引いている。今私が画像検索で最初に行くのはGoogleではない。Flickrだ。 [...]

[...] 現在まで、Googleその他はマルチメディア・コンテンツに付属するメタデータを改善することに 多大な努力を払ってきた。たとえば、Googleの「Image Labeler」ゲームは画像に適切にタグづけするために人力を使う試みだ。革新的な試みではある。しかし依然として「緑色が見えないのにそれを定義する」ような迂遠なアプローチだ。 [...]

[...] しかし、これが光学的認識手法で行われていないという点が興味深い。そのテクノロジーは、例えばAppleが最新バージョンのiPhotoで、画像中の顔を見て他の画像に同じ人が写っているかを見分けるのに使っている。Googleは膨大なウェブ画像のデータベースのほかに、写真にタグを付けるゲームや、最近では画像を色でソートするなどのプロジェクトのおかげで、大量のメタデータを既に持っているため、「Similar Images」を実現するために使えるさまざまなデータポイントが山ほどある。 [...]