#206 イーシャン・ミズラ

Facebook AI Research のリサーチサイエンティストが自己教師あり学習の最前線を解説

[このエピソードのポイント]
Facebook AI Research (FAIR) のリサーチサイエンティストであるイーシャン・ミズラが、自己教師あり学習の重要性や有望性、FAIR で開発された最新の手法やモデルを解説します。また、論文執筆から得た教訓を基に、良い論文を書くための貴重なアドバイスを提供します。

トピック1：自己教師あり学習

自己教師あり学習とは？教師あり学習、半教師あり学習、自己教師あり学習、それぞれの手法を比較しながら背景にあるアイデアと特徴を学びます。

トピック2：知能のダークマター

イーシャン・ミズラは、2021年3月にヤン・ルカンと共著で「Self-supervised learning: The dark matter of intelligence」(邦訳：自己教師あり学習: 知能のダークマター) というタイトルのブログ記事を投稿しています。このタイトルの背景にある自己教師あり学習の有望性について、イーシャン・ミズラが解説します。

トピック3：視覚と言語

コンピュータビジョンと自然言語処理の問題を比較すると、イーシャン・ミズラは、コンピュータビジョンの方が難しい問題と話します。コンピュータビジョンの難しさや成功が限定的な理由、自然言語処理が比較的成功している理由について解説します。

トピック4：対照学習

自己教師あり学習の一つの種類で、近年注目を集める対照学習について学びます。

トピック5：Energy-based model (エネルギーベースモデル)

ヤン・ルカンからこの言葉をよく聞くようになったという Energy-based model (エネルギーベースモデル) について、イーシャン・ミズラがアイデアを解説します。

トピック6：データ拡張

コンピュータビジョンにおいて基本的な役割を果たすデータ拡張について学びます。データ拡張とは何か、自己教師あり対照学習とどう関係するのかについて、イーシャン・ミズラが解説します。

トピック7：Non-contrastive energy-based self-supervised learning

Non-contrastive energy-based self-supervised learning (自己教師あり非対照エネルギーベース学習) について学びます。対照学習の課題点とそれを踏まえて、非対照学習が注目されている理由について、イーシャン・ミズラが解説します。

トピック8：SwAV

論文「Unsupervised Learning of Visual Features by Contrasting Cluster Assignments」で発表された SwAV という画像の自己教師あり学習の手法について学びます。

トピック9：Self-supervised Pretraining (SEER)

論文「Self-supervised Pretraining of Visual Features in the Wild」で発表された、任意のランダムな画像から学習可能な自己教師あり学習モデル SElf-supERvised (SEER) について学びます。

トピック10：VISSL ライブラリ

Facebook が SEER モデルの開発のために利用したライブラリで、オープンソースとして公開した、自己教師あり学習のライブラリ VISSL について学びます。

トピック11：マルチモーダル学習

論文「Audio-Visual Instance Discrimination with Cross-Modal Agreement」で発表されたアプローチについて取り上げます。車は車特有の音がする、電車は電車特有の音がする、といった点に着目し、動画とオーディオから互いに相関のある特徴を学習するマルチモーダル学習のアプローチについて学びます。

トピック12：能動学習

イーシャン・ミズラが能動学習をどのように見ているか探ります。論文「Learning by Asking Questions」について取り上げ、イーシャン・ミズラが見解を説明します。

トピック13：アドバイス

イーシャン・ミズラが、これまでの論文執筆から得た教訓を基に、良い論文を書くための貴重なアドバイスを提供します。また、これから機械学習を始める人、高校生や学生へのアドバイスも提供します。