📌 📄 内容摘要:
Jona Wong (@aajonaa) 在 拜读Bahdanau Attention有感（attention开山之作 中发帖
读了一下这篇attention mechanism的开山之作，咱就是说德国人做事情，写东西都是一如既往的严谨。
[image]
Motivation
以往的neural machine translation是通过RNN的不断循环，把input sentence squzee到最后一个隐状态。作者考虑到这种方式容易丢失input sentence的info，随想出来一种（soft-)search的方式，每次predicting a ouput word的时候会（soft-)search所有输入word，这样就避免了一个隐状态代替整个input sentence导致的信息丢失问题。
Implementation
不敲了，本来敲的好好的，结果说在另一个window有编辑，结果丢失了原来编辑的信息
Next step
拜读Ilya Sutskever的sequence2sequence...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/742955/1
─────────────────────────────
📢 来源：LINUX DO
