Нео-РНН или Make RNNs great again Когда в 2017 году появились трансформеры, популярные до этого RNN обрели сл…
Нео-РНН или Make RNNs great again Когда в 2017 году появились трансформеры, популярные до этого RNN обрели слишком серьезного конкурента и отошли на второй план. Трансформеры допускали распараллеливание, а значит — ускоренное обучение, поэтому быстро захватили NLP. Преимущества трансформеров понятны, но с моделированием длинных последовательностей возникают проблемы даже у них. Для RNN это тоже непростая задача из-за исчезающих ил... https://clck.ru/393q6t
Автор: Habr все новости об IT