LSTM menyelesaikan masalah menggunakan struktur kecerunan aditif unik yang merangkumi akses terus kepada pengaktifan get get, membolehkan rangkaian menggalakkan gelagat yang diingini daripada kecerunan ralat menggunakan kemas kini get yang kerap pada setiap langkah proses pembelajaran.
Bagaimanakah LSTM menyelesaikan kecerunan yang meletup?
Jawapan yang sangat ringkas: LSTM memisahkan keadaan sel (biasanya dilambangkan dengan c) dan lapisan/output tersembunyi (biasanya dilambangkan dengan h), dan hanya melakukan kemas kini tambahan kepada c, yang menjadikan kenangan dalam c lebih stabil. Oleh itu kecerunan yang mengalir melalui c disimpan dan sukar untuk hilang (oleh itu kecerunan keseluruhan sukar untuk hilang).
Bagaimanakah masalah kecerunan yang lenyap dapat diselesaikan?
Penyelesaian: Penyelesaian paling mudah ialah gunakan fungsi pengaktifan lain, seperti ReLU, yang tidak menyebabkan terbitan kecil. Rangkaian sisa ialah penyelesaian lain, kerana ia menyediakan sambungan baki terus ke lapisan terdahulu.
Apakah masalah yang LSTM selesaikan?
LSTMs. LSTM (singkatan untuk ingatan jangka pendek yang panjang) terutamanya menyelesaikan masalah kecerunan yang hilang dalam perambatan belakang. LSTM menggunakan mekanisme gating yang mengawal proses menghafal. Maklumat dalam LSTM boleh disimpan, ditulis atau dibaca melalui pintu pagar yang dibuka dan ditutup.
Mengapa LSTM menghalang kecerunan anda daripada menghilangkan pandangan dari laluan ke belakang?
Sebab untuk ini adalah kerana, untuk menguatkuasakan aliran ralat berterusan ini, pengiraan kecerunan telah dipotong supaya tidak mengalir kembali ke pintu masuk atau calon.
