Sem ‘borogodó’, modelos de IA são reprovados no teste de brasilidade | Inteligência Artificial

Mesmo quando não têm as informações corretas, as IAs costumam responder. Eles raramente admitem que não sabem.

O ChatGPT, que desde maio conta com uma versão gratuita que processa informações visuais, parece ter sido “abrasileirado” para identificar figuras como Ogum e Iansã (orixás cultuados no Candomblé e na Umbanda). Mas o robô erra ao explicar o significado de expressões regionais, como carapanã, usado na Região Norte para mosquito, e responde que é uma árvore e um peixe. Quando questionado se está certo, ele pede desculpas e comete o erro novamente: diz que é uma cobra.

Gêmeos, quando questionado sobre a origem dos pratos populares de determinadas regiões, acerta a resposta sobre a patinha de caranguejo, mas erra sobre onde o fígado com jiló é popular (diz que é no Rio, não em Belo Horizonte).

O jornalista especializado em gastronomia Rusty Marcellini, comentarista da CBN, que participou dos testes do GLOBO, afirma que o conhecimento das IAs sobre a culinária regional é inconsistente:

— Um completo leigo que ler as respostas vai acreditar que a cartola (sobremesa que é patrimônio imaterial de Pernambuco) é do Rio de Janeiro e que o jerimum é do interior de São Paulo, o que não é.

Em relação às músicas de samba mais populares no Brasil, as IAs conseguem listá-las, como samba de roda e samba-canção. Mas não conseguem explicar o ritmo, diz o sambista e sociólogo Tadeu Kaçula:

— (Chatbots) não respondem com elementos fundamentais para entender a complexidade dos sambas.

Ao avaliar o desempenho das IAs nas questões sobre a origem das expressões populares, o professor de língua portuguesa Pasquale Cipro Neto diz ter a impressão de que os sistemas já incorporaram arquivos de dicionário.

Mas considere que os ditos “analisados” pelos chatbots nem sempre fazem sentido, como tentam fazer parecer as IAs, que buscavam explicações para o significado de expressões como “o porco torce o rabo”.

— As expressões populares nem sempre têm muita lógica. Os ditados estão muito ligados às culturas locais — diz Pasquale.

Torcedor do Juventus, tradicional time paulista fundado há 100 anos, o professor reclama que as pesquisas de IA no clube da Mooca já geraram “travessuras”. A GLOBO fez perguntas no chat sobre o clube e todos deram respostas erradas. Citam que Emerson Leão começou a carreira lá e que Zé Maria defendeu o time “durante anos” (os dois nunca jogaram pela Juventus).

Gemini, Claude e ChatGPT erraram (em menor ou maior grau) nas perguntas sobre línguas indígenas. A análise do resultado foi feita pelo linguista e indigenista Wilmar D’Angelis, professor do Instituto de Estudos da Linguagem da Unicamp.

Ele observa que as IAs confundem línguas isoladas com línguas ameaçadas de extinção (no caso do Tikuna) e línguas mortas com línguas vivas (como o Tupi). Deslocam pessoas (como os Xavantes) e misturam o que é dialeto (como o Mbyá-Guarani) com o que é língua.

— Parece não haver critérios sobre como as informações coletadas são utilizadas. Se uma pessoa tivesse me enviado esses resultados, eu diria que ela é um péssimo linguista ou um leigo.

o pesquisador Anderson da Silva Soares, do Instituto de Informática da Universidade Federal de Goiás (UFG), lembra que os robôs de IA são treinados principalmente com informações da língua inglesa.

Todos os sistemas de IA admitem que estão sujeitos a erros. ChatGPT, Claude e Gemini alertam que podem cometer erros.

Criar uma inteligência artificial “mais brasileira” é uma das missões da Maritaca AI, pioneira no desenvolvimento de um grande modelo de linguagem que seja “nativo”. A startup foi fundada por pesquisadores da Unicamp em 2022, dois meses antes do lançamento do ChatGPT e impulsionou a corrida pela IA generativa.

— O propósito sempre foi esse, criar IAs especializadas no Brasil. Isso não significa apenas que ela conhecerá bem o português, mas também que a treinará com dados relevantes para o ambiente em que irá trabalhar — afirma Rodrigo Nogueira, fundador e CEO da Maritaca IA, PhD em Ciência da Computação pela New York University ( Universidade de Nova York).

O grande desafio da criação de IAs brasileiras é o custo de desenvolvimento de LLMS (grandes modelos de linguagem), que são os motores que rodam chatbots como Gemini ou Claude. O robô criado pela Maritaca, que pode interagir com os usuários, chama-se Maritalk. O LLM por trás disso é o Sabiá.

O projeto foi viabilizado por meio de uma parceria entre a startup e o Google, que cedeu seus supercomputadores para treinar o modelo. Segundo Rodrigo, o custo para a realização do processo seria de R$ 20 milhões. O template também está disponível para empresas, que podem personalizá-lo para seu próprio uso.

Desenvolvido em parceria com Oracle e NVIDIA, o Amazônia IA é mais uma iniciativa que busca “brasilianizar” o cenário da inteligência artificial. Criado pela startup Widelabs, o sistema foi treinado, entre outras fontes, com bases de dados que incluem pesquisas e teses científicas, além de bancos públicos brasileiros.

A empresa vai lançar um artigo científico em setembro para divulgar as informações técnicas do modelo e abrir a IA para que possa ser aplicada nos negócios.

— Desenvolver a IA localmente é também falar de soberania nacional, de não depender de tecnologias estrangeiras. Trata-se também de democratizar o acesso a soluções locais — afirma Nelson Leoni, CEO da Widelabs.

O Plano Nacional de Inteligência Artificial, lançado no mês passado pelo governo, prevê a compra de cinco supercomputadores para atender a demanda da região. O investimento previsto para os próximos quatro anos é de R$ 23 bilhões, com as maiores fatias direcionadas para inovação empresarial (59,8%) e infraestrutura (25,1%).

Para Rodrigo, além do acesso à capacidade computacional, uma política de acesso aos dados é fundamental para que o país avance no desenvolvimento de IAs. O pesquisador da UFG Anderson Soares destaca ainda que é preciso ter uma política sólida de formação profissional, mas que o plano é positivo para estabelecimento de metas e financiamento.

Perguntamos o significado das palavras regionais.

• ChatGPT: Você não sabe qual lagartixa pode ser chamada de catenga, nem o que significa caparanã (também conhecida como mosquito ou muriçoca). Ele sabe explicar que pessoa chata é alguém “sem graça”.
• Claude: O significado de todas as expressões testadas estava errado, com exceção de desembarcado. Ele diz que o caparanã poderia ser “uma lagarta ou um inseto”.
• Gêmeos: Afirma que catenga é uma dança e que abilolado (o que seria uma loucura, uma loucura) é algo “que tem lóbulos”. Faça certo.

Testamos imagens de Orixás e Nossa Senhora Aparecida

• ChatGPT: Das quatro imagens consegui identificar duas: Ogum e Iansã, e explicar seu significado. Reconheceu uma estatueta de Nossa Senhora Aparecida, definida como “padroeira do Brasil”.
• Claude: Não consegui identificar imagens de orixá, definidos como “objetos decorativos ou religiosos”. Reconheceu Nossa Senhora como “Mãe de Jesus”, sem contextualizar.
• Gêmeos: Trocou Nanã Buruquê por Oxalá nas imagens de orixás. Ele acertou ao identificar Nossa Senhora Aparecida como “uma das santas mais populares do Brasil”.

Perguntamos quais línguas indígenas são faladas e quais podem ser extintas

• ChatGPT: É o mais preciso. A lista da 1ª questão, porém, ignora o Kaingang, a 3ª língua indígena mais falada. Entre aqueles que poderiam ser extintos, ele cita casos de risco, mas não os mais críticos.
• Claude: Você errou em todos os casos na primeira pergunta, com a inclusão de línguas mortas (como o Tupi) ou de risco (como o Kokama). Na segunda parte, mencionou línguas vulneráveis, mas não em risco de extinção.
• Gêmeos: Acertou na hora de listar as línguas mais faladas (Tikuna, Guarani, Kaingang, Xavante e Yanomami). Sobre línguas ameaçadas, relaciona línguas isoladas com línguas ameaçadas.

Perguntamos em quais cidades são conhecidos os pratos típicos

• ChatGPT: Quase correto, mas errado ao dizer que fígado com jiló é conhecido no Rio (é em Minas). Diz ainda que a sobremesa da cartola é feita com queijo de coalho (normalmente é feita com queijo manteiga).
• Claude: Ele tem quase toda razão, mas se engana quando diz que fígado com jiló é típico da culinária nordestina. Indica que a cartola é originária do Rio (a sobremesa é patrimônio cultural imaterial de Pernambuco).
• Gêmeos: Na primeira vez, incluiu apenas cidades de São Paulo. No comando de considerar o país inteiro, errou (disse que o pastel de berbigão, de Santa Catarina, é da Baixada Santista).