![\"\"](\"https:\/\/colah.github.io\/posts\/2015-08-Understanding-LSTMs\/img\/LSTM3-chain.png\")
A linha horizontal superior \u00e9 chamada de estado da c\u00e9lula, \u00e9 considerada a “mem\u00f3ria” de longo prazo da c\u00e9lula. Outro componente especial da arquitetura s\u00e3o os port\u00f5es. Sempre que voc\u00ea vir um sinal de multiplica\u00e7\u00e3o, significa que \u00e9 um port\u00e3o.<\/p>\n\n\n
![\"\"](\"https:\/\/thedataprocessblog.com\/wp-content\/uploads\/2023\/02\/image-1.png\")
Port\u00f5es (gates<\/em>)<\/h4>\n\n\n\nNesse caso, eles s\u00e3o precedidos por uma fun\u00e7\u00e3o de ativa\u00e7\u00e3o sigm\u00f3ide e a explica\u00e7\u00e3o para isso \u00e9 que a sa\u00edda da fun\u00e7\u00e3o sigm\u00f3ide vai de 0 a 1, portanto, a opera\u00e7\u00e3o de multiplica\u00e7\u00e3o funciona como um port\u00e3o para deixar alguma informa\u00e7\u00e3o passar para o pr\u00f3ximo est\u00e1gio ou ser esquecida . Dessa forma, o estado da c\u00e9lula pode ser alterado e apenas as coisas importantes no momento s\u00e3o lembradas pelo modelo.<\/p>\n\n\n\n
A sa\u00edda<\/h4>\n\n\n\n
A sa\u00edda do modelo \u00e9 o valor h<\/em>, que pode ser visto como uma vers\u00e3o filtrada do estado da c\u00e9lula. Ele \u00e9 filtrado no \u00faltimo port\u00e3o \u00e0 direita, que tem como entrada o estado da c\u00e9lula passado por uma fun\u00e7\u00e3o tanh<\/em>.<\/p>\n\n\n\nOutras variantes<\/h4>\n\n\n\nconex\u00f5es de olho m\u00e1gico<\/h5>\n\n\n\n
Introduzida por Gers & Schmidhuber (2000)<\/a>, a abordagem olho m\u00e1gico fornece aos port\u00f5es o pr\u00f3prio estado da c\u00e9lula como uma entrada.<\/p>\n\n\n\n![\"\"](\"https:\/\/thedataprocessblog.com\/wp-content\/uploads\/2023\/02\/image-2-1024x409.png\")
Source: https:\/\/d3i71xaburhd42.cloudfront.net\/545a4e23bf00ddbc1d3325324b4c61f57cf45081\/2-Figure1-1.png<\/figcaption><\/figure><\/div>\n\n\nGated Recurrent unit (GRU)<\/h5>\n\n\n\n
Introduzido por Cho, et al. (2014)<\/a>, ele mescla os port\u00f5es de entrada e de esquecimento em um \u00fanico port\u00e3o, chamado de “port\u00e3o de atualiza\u00e7\u00e3o”. Isso atinge uma arquitetura mais simples, sendo mais f\u00e1cil de treinar e computacionalmente mais barata. Esta variante ganhou muita popularidade ao longo dos anos.<\/p>\n\n\n\n![\"\"](\"https:\/\/thedataprocessblog.com\/wp-content\/uploads\/2023\/02\/image-3-1024x316.png\")
Source: https:\/\/colah.github.io\/posts\/2015-08-Understanding-LSTMs\/<\/figcaption><\/figure><\/div>\n\n\nConclus\u00e3o<\/h3>\n\n\n\n
A introdu\u00e7\u00e3o da arquitetura LSTM trouxe muito mais possibilidades para resolver problemas. O modelo proposto e suas variantes t\u00eam sido utilizados com sucesso em v\u00e1rias solu\u00e7\u00f5es relacionadas \u00e0 mem\u00f3ria.<\/p>\n\n\n\n
O pr\u00f3ximo grande passo que ser\u00e1 discutido no pr\u00f3ximo artigo \u00e9 a arquitetura Attention introduzida pelo Google. Uma abordagem que, novamente, mudou tudo no mundo do aprendizado de m\u00e1quina e criou muito mais possibilidades.<\/p>\n","protected":false},"excerpt":{"rendered":"
Depois de ver os problemas dos RNNs simples vistos antes, pesquisadores propuseram uma nova abordagem para modelos relacionados \u00e0 mem\u00f3ria. A nova abordagem foi chamada de modelos LSTM. Arquitetura Long Short Term Memory (LSTM) Embora os modelos LSTM sejam uma variante das Redes Neurais Recorrentes, eles apresentam mudan\u00e7as muito importantes. A ideia \u00e9 separar o … Continue reading Por que os transformers mudaram tudo: LSTMs<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[9],"tags":[],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts\/76"}],"collection":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=76"}],"version-history":[{"count":1,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts\/76\/revisions"}],"predecessor-version":[{"id":77,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts\/76\/revisions\/77"}],"wp:attachment":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=76"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=76"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=76"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
Outras variantes<\/h4>\n\n\n\nconex\u00f5es de olho m\u00e1gico<\/h5>\n\n\n\n
Introduzida por Gers & Schmidhuber (2000)<\/a>, a abordagem olho m\u00e1gico fornece aos port\u00f5es o pr\u00f3prio estado da c\u00e9lula como uma entrada.<\/p>\n\n\n Introduzido por Cho, et al. (2014)<\/a>, ele mescla os port\u00f5es de entrada e de esquecimento em um \u00fanico port\u00e3o, chamado de “port\u00e3o de atualiza\u00e7\u00e3o”. Isso atinge uma arquitetura mais simples, sendo mais f\u00e1cil de treinar e computacionalmente mais barata. Esta variante ganhou muita popularidade ao longo dos anos.<\/p>\n\n\n A introdu\u00e7\u00e3o da arquitetura LSTM trouxe muito mais possibilidades para resolver problemas. O modelo proposto e suas variantes t\u00eam sido utilizados com sucesso em v\u00e1rias solu\u00e7\u00f5es relacionadas \u00e0 mem\u00f3ria.<\/p>\n\n\n\n O pr\u00f3ximo grande passo que ser\u00e1 discutido no pr\u00f3ximo artigo \u00e9 a arquitetura Attention introduzida pelo Google. Uma abordagem que, novamente, mudou tudo no mundo do aprendizado de m\u00e1quina e criou muito mais possibilidades.<\/p>\n","protected":false},"excerpt":{"rendered":" Depois de ver os problemas dos RNNs simples vistos antes, pesquisadores propuseram uma nova abordagem para modelos relacionados \u00e0 mem\u00f3ria. A nova abordagem foi chamada de modelos LSTM. Arquitetura Long Short Term Memory (LSTM) Embora os modelos LSTM sejam uma variante das Redes Neurais Recorrentes, eles apresentam mudan\u00e7as muito importantes. A ideia \u00e9 separar o … Continue reading Por que os transformers mudaram tudo: LSTMs<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[9],"tags":[],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts\/76"}],"collection":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=76"}],"version-history":[{"count":1,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts\/76\/revisions"}],"predecessor-version":[{"id":77,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts\/76\/revisions\/77"}],"wp:attachment":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=76"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=76"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=76"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Gated Recurrent unit (GRU)<\/h5>\n\n\n\n
Conclus\u00e3o<\/h3>\n\n\n\n