Distillation 企画 4本目の論文 Knowledge Concentration: Learning 100K Object Classifiers in a Single CNN を紹介します． 内容は，複数の Specialist Teacher から，たった1つの Student に知識を転移する手法です．

新年明けましておめでとうございます． Distillation 企画の2019年一発目は，Deep Mutual Learning です． こちらは実を言うとDistillation に分類すべきかは微妙なところなのですが，Student の学習時に Teacher は不要という大胆な主張をしている面白い論文です．

前回は，Distillation の初出論文を読んで，温度付き softmax による小さいモデルの学習について学びました． 今回は，深くて薄いネットワーク を学習するための手法を紹介している FitNets の論文を紹介します．

Deep Learning の世界で Distillation という単語を初めて使ったGeoffrey Hinton, Jeff Dean らの論文を紹介します． Distillation を調べる上ではやはり最初に読むべき論文でしょう． Distillation についての基本的な知識やサーベイ対象論文一覧はこちら．

Distillation に興味があるので，関係する論文を調べていきます．