” All You Need ” 論文まとめ (コードつき注目度top5)

気になること

 最近特によく見かけるようになった "XX is all you need" という論文。どのくらいあるのかと調べてみたらかなりありましたので、今回は paperwithcode (https://paperswithcode.com/search?q_meta=&q_type=&q=is+all+you+need) にコードともに載せてある内注目度の高い5つの論文についてまとめていきます!
(注目度の基準はこの記事執筆時点 2021/7/5での github の star 数をもとにしています)

5位 : Hopfield Networks is All You Need

github の star数:1,161
ICLR 2021 採択論文
原題の和訳:Hopfield Network さえあれば良い

連続的な状態をもつ最新の Hopfield Network と それに関連する更新規則について述べた論文


Hopfield Networks is All You Need
We introduce a modern Hopfield network with continuous states and a corresponding update rule. The new Hopfield network can store exponentially (with the dimens...

4位 : ReZero is All You Need: Fast Convergence at Large Depth

github の star数:1,538
原題の和訳:ReZero さえあれば良い (深い部分での高速な収束)

Deep Networkの課題としてあげられる学習時間の長さと収束の困難性。この論文ではゼロで初期化された単一のパラメータを用い、各々の residual connection をゲートするというアーキテクチャの変更により、初期の動的なisometryを満たし、効率性を向上させることができることを示している。

(Pennigtonら によって、自由確率論を用い動的なisometryが効率的な深層学習に不可欠であることはしめされている。)

ReZero is All You Need: Fast Convergence at Large Depth
Deep networks often suffer from vanishing or exploding gradients due to inefficient signal propagation, leading to long training times or convergence difficulti...

3位 : A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild

github の star数:2,383
原題の和訳: Lip Sync の専門家がいれば、自然な形で音声に合わせて唇を動かすことが可能である

顔の動きを動画で撮影したものに、音声をあわせてLip Syncする研究を行った論文。
この論文では、独自にWav2Lipというモデルを作成し、提案している。

Lip Sync とは?

唇の動きと音声の同期。(映画などでの吹き替え)の口合わせ などの意味

A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild
In this work, we investigate the problem of lip-syncing a talking face video of an arbitrary identity to match a target speech segment. Current works excel at p...

2位 : Attention is All You Need in Speech Separation

github の star数:2,592
原題の和訳:音声分離には Attention さえあれば良い

RNNは古くから使われてきたアーキテクチャであるが計算の並列化ができないという点に着目し、音声分離のための Transformerベースのニューラルネットワークとなる SepFormerを作成・提案。
Transformerの活用により、マルチスケールに対応でき、短期から長期の依存関係までを学習できるようになっている。

1位 : Attention Is All You Need

github の star数:70,578
NeurlPS 2017 採択論文
原題の和訳:Attention さえあれば良い

いわずとしれた "All You Need" 論文の元となった Transformerについての論文

Papers with Code - Attention Is All You Need
#2 best model for Multimodal Machine Translation on Multi30K (BLUE (DE-EN) metric)

コメント

タイトルとURLをコピーしました