{"id":1207,"date":"2025-03-08T14:09:52","date_gmt":"2025-03-08T17:09:52","guid":{"rendered":"https:\/\/www.galirows.com.br\/meublog\/?p=1207"},"modified":"2025-03-29T15:41:10","modified_gmt":"2025-03-29T18:41:10","slug":"llms-raciocinio-logico-estudo-de-caso","status":"publish","type":"post","link":"http:\/\/www.galirows.com.br\/meublog\/blog\/llms-raciocinio-logico-estudo-de-caso\/","title":{"rendered":"LLMs e o Racioc\u00ednio L\u00f3gico: Um Estudo de Caso com Desafios de L\u00f3gica"},"content":{"rendered":"\n<p class=\"has-cyan-bluish-gray-background-color has-background\">Uma atualiza\u00e7\u00e3o deste estudo est\u00e1 em andamento. Se quiser conhecer e contribuir, consulte em <a href=\"https:\/\/www.galirows.com.br\/meublog\/blog\/ampliacao-do-estudo-de-llms-e-o-raciocinio\/\" data-type=\"link\" data-id=\"https:\/\/www.galirows.com.br\/meublog\/blog\/ampliacao-do-estudo-de-llms-e-o-raciocinio\/\" target=\"_blank\" rel=\"noreferrer noopener\">Amplia\u00e7\u00e3o do estudo de LLMs e o Racioc\u00ednio<\/a> e preencha o formul\u00e1rio com as quest\u00f5es em <a href=\"https:\/\/forms.gle\/xVgGQYDzVjy5h4Kd9\">https:\/\/forms.gle\/xVgGQYDzVjy5h4Kd9<\/a>.<\/p>\n\n\n\n<p>Eu escrevi um artigo que avalia o desempenho de 7 LLMs em 4 problemas que envolvem racioc\u00ednio l\u00f3gico<br>para serem avaliados por cada uma das LLMs. A resposta esperada para cada uma das quest\u00f5es \u00e9 apresenta na Se\u00e7\u00e3o 5. Os desafios l\u00f3gicos s\u00e3o:<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Um elefante incomoda muita gente, dois elefantes incomodam incomodam muito mais. Tr\u00eas elefantes incomodam muita gente, quadro elefantes incomodam incomodam incomodam incomodam muito mais. Cada seria a continua\u00e7\u00e3o do texto para cinco e seis elefantes?<\/li>\n\n\n\n<li>Imagine uma codifica\u00e7\u00e3o simples, de forma que a palavra &#8220;Artigo&#8221;seja codificada como &#8220;Bsujhp&#8221;. Como ficaria codificada a palavra &#8220;Paper&#8221;?<\/li>\n\n\n\n<li>Se janeiro \u00e9 17, fevereiro \u00e9 49, mar\u00e7o \u00e9 95, ent\u00e3o maio \u00e9?<\/li>\n\n\n\n<li>Indique qual alternativa representa a solu\u00e7\u00e3o da opera\u00e7\u00e3o 3 + 3 x 5: a) 16; b) 20; c) 30; d) 45.<\/li>\n<\/ol>\n\n\n\n<p>O modelos foram os seguintes:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>GPT-4o: modelo da empresa OpenAI;<\/li>\n\n\n\n<li>Claude 3.5 Sonnet: modelo da empresa Anthropic;<\/li>\n\n\n\n<li>Claude 3.5 Haiku: vers\u00e3o mais r\u00e1pida da Claude 3.5 Sonnet;<\/li>\n\n\n\n<li>Gemini 1.5: modelo do Google;<\/li>\n\n\n\n<li>Llama 3.1: modelo da Meta e de c\u00f3digo aberto;<\/li>\n\n\n\n<li>Grok: modelo da empresa xAI; e<\/li>\n\n\n\n<li>Mistral 7B: modelo de c\u00f3digo aberto.<\/li>\n<\/ul>\n\n\n\n<p>O artigo foi publicado no Computer on the Beach 2025 est\u00e1 dispon\u00edvel em [AINDA N\u00c3O EST\u00c1 PUBLICO NOS ANAIS DO EVENTO &#8211; EM BREVE]<\/p>\n\n\n\n<p>O comparativo da tabela a seguir mostrar o desempenho das LLMs em cada desafio proposto. O polegar para cima significa que a LLM acerto a quest\u00e3o, enquanto o polegar para baixo indica o erro em responder ao desafio.<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"507\" height=\"431\" src=\"https:\/\/www.galirows.com.br\/meublog\/wp-content\/uploads\/2025\/03\/comparativoLLMs1.png\" alt=\"\" class=\"wp-image-1234\" srcset=\"http:\/\/www.galirows.com.br\/meublog\/wp-content\/uploads\/2025\/03\/comparativoLLMs1.png 507w, http:\/\/www.galirows.com.br\/meublog\/wp-content\/uploads\/2025\/03\/comparativoLLMs1-300x255.png 300w, http:\/\/www.galirows.com.br\/meublog\/wp-content\/uploads\/2025\/03\/comparativoLLMs1-150x128.png 150w\" sizes=\"auto, (max-width: 507px) 100vw, 507px\" \/><\/figure>\n<\/div>\n\n\n<p>Em resumo, <strong>nenhuma LLM resolveu o terceiro desafio, sendo que o Gemini n\u00e3o conseguiu responder nenhum dos desafios. O Claude Haiku conseguiu responder os desafios 2 e 4, enquanto os demais LLMs responderam os desafios 1, 2 e 4<\/strong>.<\/p>\n\n\n\n<p>Abaixo seguem links com as respostas das LLMs para conferir como as respostas foram dadas por cada LLM:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><a href=\"http:\/\/www.galirows.com.br\/meublog\/wp-content\/uploads\/2025\/03\/Chat-GPT4o.pdf\">GPT-4o<\/a><\/li>\n\n\n\n<li><a href=\"http:\/\/www.galirows.com.br\/meublog\/wp-content\/uploads\/2025\/03\/Chat-Claude-3.5-Sonnet.pdf\">Claude 3.5 Sonnet<\/a><\/li>\n\n\n\n<li><a href=\"http:\/\/www.galirows.com.br\/meublog\/wp-content\/uploads\/2025\/03\/Chat-Claude-3.5-Haiku.pdf\">Claude 3.5 Haiku<\/a><\/li>\n\n\n\n<li><a href=\"http:\/\/www.galirows.com.br\/meublog\/wp-content\/uploads\/2025\/03\/Chat-Gemini-1.5.pdf\">Gemini 1.5<\/a><\/li>\n\n\n\n<li><a href=\"http:\/\/www.galirows.com.br\/meublog\/wp-content\/uploads\/2025\/03\/Chat-Llama-3.1.pdf\">Llama 3.1<\/a><\/li>\n\n\n\n<li><a href=\"http:\/\/www.galirows.com.br\/meublog\/wp-content\/uploads\/2025\/03\/Chat-Grok.pdf\">Grok<\/a><\/li>\n\n\n\n<li><a href=\"http:\/\/www.galirows.com.br\/meublog\/wp-content\/uploads\/2025\/03\/Chat-Mistral.pdf\">Mistral 7B<\/a><\/li>\n<\/ul>\n\n\n\n<p class=\"has-cyan-bluish-gray-background-color has-background\">Uma atualiza\u00e7\u00e3o deste estudo est\u00e1 em andamento. Se quiser conhecer e contribuir, consulte em <a href=\"https:\/\/www.galirows.com.br\/meublog\/blog\/ampliacao-do-estudo-de-llms-e-o-raciocinio\/\" data-type=\"link\" data-id=\"https:\/\/www.galirows.com.br\/meublog\/blog\/ampliacao-do-estudo-de-llms-e-o-raciocinio\/\" target=\"_blank\" rel=\"noreferrer noopener\">Amplia\u00e7\u00e3o do estudo de LLMs e o Racioc\u00ednio<\/a> e preencha o formul\u00e1rio com as quest\u00f5es em <a href=\"https:\/\/forms.gle\/xVgGQYDzVjy5h4Kd9\">https:\/\/forms.gle\/xVgGQYDzVjy5h4Kd9<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Uma atualiza\u00e7\u00e3o deste estudo est\u00e1 em andamento. Se quiser conhecer e contribuir, consulte em Amplia\u00e7\u00e3o do estudo de LLMs e o Racioc\u00ednio e preencha o formul\u00e1rio com as quest\u00f5es em https:\/\/forms.gle\/xVgGQYDzVjy5h4Kd9. Eu escrevi um artigo que avalia o desempenho de 7 LLMs em 4 problemas que envolvem racioc\u00ednio l\u00f3gicopara serem avaliados por cada uma das [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[6,284],"tags":[285,286],"class_list":["post-1207","post","type-post","status-publish","format-standard","hentry","category-ia","category-llms","tag-llms","tag-raciocinio-logico"],"aioseo_notices":[],"amp_enabled":true,"_links":{"self":[{"href":"http:\/\/www.galirows.com.br\/meublog\/wp-json\/wp\/v2\/posts\/1207","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/www.galirows.com.br\/meublog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.galirows.com.br\/meublog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.galirows.com.br\/meublog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/www.galirows.com.br\/meublog\/wp-json\/wp\/v2\/comments?post=1207"}],"version-history":[{"count":5,"href":"http:\/\/www.galirows.com.br\/meublog\/wp-json\/wp\/v2\/posts\/1207\/revisions"}],"predecessor-version":[{"id":1239,"href":"http:\/\/www.galirows.com.br\/meublog\/wp-json\/wp\/v2\/posts\/1207\/revisions\/1239"}],"wp:attachment":[{"href":"http:\/\/www.galirows.com.br\/meublog\/wp-json\/wp\/v2\/media?parent=1207"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.galirows.com.br\/meublog\/wp-json\/wp\/v2\/categories?post=1207"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.galirows.com.br\/meublog\/wp-json\/wp\/v2\/tags?post=1207"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}