人工知能・AI
Facebook / フェイスブック(企業)

「忘却」をAIに教えればAIの働きはもっと良くなるかもしれない

次の記事

Ciscoが1週間で3度目の買収でセキュリティ脅威査定のKenna Securityを獲得

現在の機械学習システムは人工知能であるかのように振る舞うが、実際のところは、機械学習システムは取り扱っているデータを何も「理解」していない。そのため、取るに足りないことであっても永遠に保管してしまう傾向がある。Facebookの研究チームは、AIがデータを少し片付けてパフォーマンスを上げ人間の考え方に少しでも近づくための方法として構造化された忘却を提案した。

研究チームは、人間とAIエージェントが同じ問題を解決しようとする過程を例にとってこの問題を説明している。

さまざまな色のドアが10枚あるとする。あなたは黄色のドアの向こう側へ行くように指示される。あなたはその通りに行動し、数分後には他のドアの色は忘れてしまう。2つが赤、1つがチェック柄、2つが木目などであったとしてもそれはまったく重要ではなく、他のドアは黄色ではなくてあなたが選んだドアは黄色だったということだけが重要だったからだ。あなたの脳は重要でない情報をほとんど瞬時に捨てた。

しかしAIは黄色以外の9つのドアの色と配置も記憶にとどめ続けるだろう。課題やデータを直感的に理解することがないからだ。だから決定を下すために使用した情報をすべて保管する。

データの量が比較的少ない場合には問題にならないが、機械学習のアルゴリズムは、特にトレーニング中にはたいてい膨大なデータポイントを扱い、テラバイト単位の画像や言語を取り込む。新しいデータと獲得した知識を常に比較するように設計されているため、重要でないことを忘れるようになっていなければ、意味のない、あるいは古くて役に立たないデータポイントを常に参照し、AIは泥にはまったように動きにくくなってしまう。

Facebookの研究チームが考えた解決策のポイントは、AIが初めにデータを評価するときにそのデータを覚えておかなくてはならない期間をAI自身に指示するというものだ。私たちがこの能力を持ちたいと思うようなものではないが。

画像クレジット:Facebook

FacebookのAI研究者でこのExpire-Span(有効期間)の論文に参加したAngela Fan(アンジェラ・ファン)氏は「個々の記憶は予測される有効期限と関連づけられ、記憶のスケールはタスクによって決まります。記憶が保持される時間はほんの数ステップの間なのか、タスクが完了するまでなのかというように、タスクのニーズによって決まります」と説明する。

先ほどのドアの例でいうと、黄色以外のドアの色は黄色のドアを見つけるまでは大いに重要だ。他のドアをいくつ調べなくてはならないかによって記憶を保持しておく時間はまちまちだが、黄色のドアを見つけた時点でそれ以外のドアの色は忘れてかまわない(もっと現実的な例としては、システムが特定の顔を探しているなら、その顔を見つけた後は他の顔は忘れてかまわないだろう)。

長い文章を解析する場合、特定の語句の記憶が重要なのは文の末尾か段落の末尾、あるいはもっと長いかもしれない。それは、エージェントが特定しようとしていることが話者なのか、その文が含まれる章なのか、話のジャンルなのかに応じて異なる。

最終的にモデルがソートする情報の量が単純に減るため、パフォーマンスは向上する。システムは他のドアが重要かどうかを知らなければ、その情報は保管され、モデルのデータ量が増えてスピードは落ちる。

ファン氏は、Expire-Spanを使ってトレーニングしたモデルはパフォーマンスが高くて効率が良く、メモリと計算時間は少ないと述べている。このことは、トレーニングとテストの際に重要だ。トレーニングとテストには計算処理に長い時間がかかりがちで、わずかな向上であっても効果は大きく、さらにエンドユーザーレベルでは同じタスクが少ないパワーで速くできることになる。写真を急に処理する場合、後からではなくライブで実行されることに意味がある。

忘れられるようになればある意味でAIの処理が人間の認知に近づくが、人間のような直感的で微妙な処理にはまだ遠い。もちろん、何をどれぐらいの間覚えておくかを選べることは、パラメーターをランダムに選んでいるように見える私たちを超える大きな利点だ。

関連記事
コンテンツモデレーションやオブジェクト識別などをAIベースのAPIで支援するHiveが92億調達
Proxima Technologyが単眼・ステレオカメラ対応の深層学習を用いた高精度visual SLAM技術「DVF SLAM」開発
東工大発ネフロックが任意画像から別画像を生成する技術関連の特許取得、ジンズがメガネ試着サービスに導入

カテゴリー:人工知能・AI
タグ:機械学習Facebook

画像クレジット:Facebook

原文へ

(文:Devin Coldewey、翻訳:Kaori Koyama)