{"id":109,"date":"2024-04-21T14:47:53","date_gmt":"2024-04-21T14:47:53","guid":{"rendered":"https:\/\/thedataprocessblog.com\/?p=109"},"modified":"2024-04-21T14:47:53","modified_gmt":"2024-04-21T14:47:53","slug":"por-que-os-transformers-mudaram-tudo-input-embeddings","status":"publish","type":"post","link":"https:\/\/thedataprocessblog.com\/?p=109&lang=pt","title":{"rendered":"Por que os transformers mudaram tudo: Input embeddings"},"content":{"rendered":"\n

Para entender como um Transformer<\/em> funciona, vamos dissecar o diagrama abaixo que mostra todas as etapas do processo. <\/p>\n\n\n

\n
\"\"
Mechanism of the Transformer. (https:\/\/www.researchgate.net\/figure\/1-Mechanism-of-the-Transformer_fig2_340659282)<\/figcaption><\/figure><\/div>\n\n\n

Input embeddings<\/h2>\n\n\n\n

Quando falamos no uso de redes neurais e mais amplamente t\u00e9cnicas de aprendizado de m\u00e1quina trabalhamos exclusivamente com n\u00fameros. O que quero dizer com isso \u00e9 que todo tipo de dado n\u00e3o estruturado, ou at\u00e9 mesmo estruturado, mas que esteja na forma de texto, por exemplo, tem que primeiro ser transformado em n\u00fameros para que possa ser “aprendido” pelos modelos de aprendizado de m\u00e1quina. <\/p>\n\n\n\n

Da\u00ed surge a quest\u00e3o: como transformar texto em n\u00fameros? <\/p>\n\n\n\n

Bag of words<\/em><\/h3>\n\n\n\n

Existem algumas formas de fazer isso, e foram-se descobrindo novas alternativas para tentar resolver esse problema. Uma das primeiras solu\u00e7\u00f5es encontradas foi de dar uma “posi\u00e7\u00e3o” a cada palavra e contar o n\u00famero de apari\u00e7\u00f5es de cada uma das palavras no texto de entrada, a t\u00e9cnica chamada de bag of words<\/em> . A imagem abaixo demonstra como isso \u00e9 feito: cada palavra tem uma posi\u00e7\u00e3o na tabela abaixo (cada palavra do vocabul\u00e1rio \u00e9 uma coluna) e o valor de cada c\u00e9lula \u00e9 a contagem de quantas vezes cada palavra apareceu no texto de entrada, representado pelas linhas.<\/p>\n\n\n\n

\"\"
BOW on Surfin\u2019 Bird (https:\/\/openclassrooms.com\/en\/courses\/6532301-introduction-to-natural-language-processing\/8081284-apply-a-simple-bag-of-words-approach)<\/figcaption><\/figure>\n\n\n\n

Uma caracter\u00edstica dessa representa\u00e7\u00e3o textual \u00e9 que a matriz resultante \u00e9 extremamente esparsa (palavra muito usada no contexto de aprendizado de m\u00e1quina, nesse caso indica que existem muitos “0” na matriz). Pode-se imaginar que para contemplar a maior parte do vocabul\u00e1rio de uma l\u00edngua, para que o modelo seja satisfat\u00f3rio, seria necess\u00e1rio muito mais colunas do que as representadas, sendo uma matriz de muitos “0” e apenas algumas colunas preenchidas com algum n\u00famero. Como \u00e9 de se imaginar, o “desperd\u00edcio” computacional aqui \u00e9 enorme, o portugu\u00eas \u00e9 uma l\u00edngua com aproximadamente 370 mil palavras, imagine ter uma matriz de 370 mil (!) colunas para realizar os c\u00e1lculos, e a maioria disso serem multiplica\u00e7\u00f5es por 0. Outra informa\u00e7\u00e3o que \u00e9 perdida aqui \u00e9 a posi\u00e7\u00e3o das palavras, algo que \u00e9 extremamente importante para a interpreta\u00e7\u00e3o de um texto. Pense nas seguintes frases: “Orlando \u00e9 pai de Leandro” \u00e9 completamente diferente de “Leandro \u00e9 pai de Orlando” e as frases seriam representadas da mesma forma.<\/p>\n\n\n\n

Da\u00ed pode surgir uma outra d\u00favida: por que n\u00e3o associar um identificador a cada palavra e ter uma matriz em que os valores s\u00e3o o \u00edndice (ou identificador de cada palavra) e as colunas serem a posi\u00e7\u00e3o de cada palavra no texto, por exemplo? Pela natureza de redes neurais (e da maioria das t\u00e9cnicas de aprendizado de m\u00e1quina) as features<\/em>, no exemplo acima as colunas, s\u00e3o sempre vari\u00e1veis quantitativas. Em outras palavras, se eu digo que a palavra “eu” tem o identificador 1 e a palavra “voc\u00ea” tem o identificador 2 isso n\u00e3o significa que “voc\u00ea” \u00e9 maior que “eu”, pois apesar de 1 < 2, esses n\u00fameros s\u00e3o apenas identificadores, por\u00e9m, um modelo “entenderia” que isso seria uma grandeza quantitativa, gerando uma confus\u00e3o enorme e sendo imposs\u00edvel chegar em um resultado satisfat\u00f3rio para aplica\u00e7\u00f5es reais.<\/p>\n\n\n\n

Palavras como vetores<\/h3>\n\n\n\n

Para resolver os problemas citados acima, algumas alternativas foram propostas com uma ideia principal em mente: palavras que aparecem juntas t\u00eam significados semelhantes e contextos semelhantes<\/strong>. A ideia aqui \u00e9 que palavras podem ser representadas de acordo com n<\/em> caracter\u00edsticas arbitr\u00e1rias. Para ilustrar essa ideia, temos o seguinte exemplo: a palavra “des\u00e1gio” e a palavra “juros” s\u00e3o ambas palavras bastante utilizadas em contextos de textos financeiros, portanto, poder\u00edamos definir uma grandeza quantitativa que seria o “financeir\u00eas”, ou seja, o quanto uma palavra \u00e9 utilizada no contexto de textos financeiros, e teria seu dom\u00ednio entre 0 e 1, quanto mais pr\u00f3ximo de 1, mais essa palavra \u00e9 utilizada nesses contextos. As duas palavras citadas certamente estariam pr\u00f3ximas de 1, o que indica que se cri\u00e1ssemos n <\/em>grandezas, poder\u00edamos classificar todas as palavras do vocabul\u00e1rio e palavras semelhantes teriam valores semelhantes para essas grandezas.<\/p>\n\n\n\n

Nessa linha de pensamento surgem ent\u00e3o algor\u00edtmos como o GloVe: Global Vectors for Word Representation, que representam palavras em n <\/em>dimens\u00f5es no espa\u00e7o. Essas dimens\u00f5es n\u00e3o tem nenhum significado que possa ser interpretado facilmente por n\u00f3s seres humanos, como o “financeir\u00eas”, mas para os modelos esses significados existem.<\/p>\n\n\n\n

Essa ent\u00e3o \u00e9 a primeira etapa de um Transformer<\/em> e de grande import\u00e2ncia! Nos vemos na pr\u00f3xima etapa, a de positional encoding.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"

Para entender como um Transformer funciona, vamos dissecar o diagrama abaixo que mostra todas as etapas do processo. Input embeddings Quando falamos no uso de redes neurais e mais amplamente t\u00e9cnicas de aprendizado de m\u00e1quina trabalhamos exclusivamente com n\u00fameros. O que quero dizer com isso \u00e9 que todo tipo de dado n\u00e3o estruturado, ou at\u00e9 … Continue reading Por que os transformers mudaram tudo: Input embeddings<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[9],"tags":[],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts\/109"}],"collection":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=109"}],"version-history":[{"count":1,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts\/109\/revisions"}],"predecessor-version":[{"id":110,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=\/wp\/v2\/posts\/109\/revisions\/110"}],"wp:attachment":[{"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=109"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=109"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/thedataprocessblog.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=109"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}