” All You Need ” 論文まとめ (コードつき注目度top5)

　最近特によく見かけるようになった "XX is all you need" という論文。どのくらいあるのかと調べてみたらかなりありましたので、今回は paperwithcode (https://paperswithcode.com/search?q_meta=&q_type=&q=is+all+you+need) にコードともに載せてある内注目度の高い5つの論文についてまとめていきます！
(注目度の基準はこの記事執筆時点 2021/7/5での github の star 数をもとにしています)

5位 : Hopfield Networks is All You Need

github の star数：1,161
ICLR 2021 採択論文
原題の和訳：Hopfield Network さえあれば良い

連続的な状態をもつ最新の Hopfield Network と それに関連する更新規則について述べた論文

Hopfield Network とは？

1982年に John Hopfieldにより提唱された再帰型のニューラルネットワークの一種であり、ボルツマンマシンの前身ともいわれている。
(参考)

ホップフィールドネットワーク(hopfield network)

ホップフィールドネットワーク概要ホップフィールドネットワーク(hopfield network)とは、 全結合の無効グラフのニューラルネットワークで、情報を記憶し、その情報を想起することができるネットワークのことを言います。以下、イメージ図

www.tcom242242.net

Hopfield Networks is All You Need

We introduce a modern Hopfield network with continuous states and a corresponding update rule. The new Hopfield network can store exponentially (with the dimens...

arxiv.org

4位 : ReZero is All You Need: Fast Convergence at Large Depth

github の star数：1,538
原題の和訳：ReZero さえあれば良い (深い部分での高速な収束)

Deep Networkの課題としてあげられる学習時間の長さと収束の困難性。この論文ではゼロで初期化された単一のパラメータを用い、各々の residual connection をゲートするというアーキテクチャの変更により、初期の動的なisometryを満たし、効率性を向上させることができることを示している。

(Pennigtonら によって、自由確率論を用い動的なisometryが効率的な深層学習に不可欠であることはしめされている。)

ReZero is All You Need: Fast Convergence at Large Depth

Deep networks often suffer from vanishing or exploding gradients due to inefficient signal propagation, leading to long training times or convergence difficulti...

arxiv.org

3位 : A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild

github の star数：2,383
原題の和訳： Lip Sync の専門家がいれば、自然な形で音声に合わせて唇を動かすことが可能である

顔の動きを動画で撮影したものに、音声をあわせてLip Syncする研究を行った論文。
この論文では、独自にWav2Lipというモデルを作成し、提案している。

A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild

In this work, we investigate the problem of lip-syncing a talking face video of an arbitrary identity to match a target speech segment. Current works excel at p...

arxiv.org

2位 : Attention is All You Need in Speech Separation

github の star数：2,592
原題の和訳：音声分離には Attention さえあれば良い

RNNは古くから使われてきたアーキテクチャであるが計算の並列化ができないという点に着目し、音声分離のための Transformerベースのニューラルネットワークとなる SepFormerを作成・提案。
Transformerの活用により、マルチスケールに対応でき、短期から長期の依存関係までを学習できるようになっている。

Attention is All You Need in Speech Separation

Recurrent Neural Networks (RNNs) have long been the dominant architecture in sequence-to-sequence learning. RNNs, however, are inherently sequential models that...

arxiv.org

1位 : Attention Is All You Need

github の star数：70,578
NeurlPS 2017 採択論文
原題の和訳：Attention さえあれば良い

いわずとしれた "All You Need" 論文の元となった Transformerについての論文

Papers with Code - Attention Is All You Need

#2 best model for Multimodal Machine Translation on Multi30K (BLUE (DE-EN) metric)

paperswithcode.com