O Instituto de Pesquisa Hon Hai anunciou o lançamento do primeiro Modelo de Linguagem de Grande Escala (LLM) em Chinês Tradicional, estabelecendo mais um marco no desenvolvimento da tecnologia de Inteligência Artificial (IA) em Taiwan. Este modelo foi treinado com um método mais eficiente e de menor custo, concluído em apenas quatro semanas.
O instituto, apoiado pelo Hon Hai Technology Group ("Foxconn"), o maior fabricante de eletrónicos do mundo e líder em soluções tecnológicas, revelou que o modelo, denominado FoxBrain, será disponibilizado em código aberto e compartilhado publicamente no futuro. Inicialmente, foi projetado para aplicações internas do grupo, com funções como análise de dados, apoio à decisão, colaboração em documentos, matemática, raciocínio, resolução de problemas e geração de código.
O FoxBrain não só demonstra capacidades poderosas de compreensão e raciocínio, mas também foi otimizado para o estilo linguístico dos usuários taiwaneses, mostrando um desempenho excelente em testes de raciocínio lógico e matemático.
Dr. Yung-Hui Li, Diretor do Centro de Pesquisa em Inteligência Artificial do Instituto de Pesquisa Hon Hai, comentou: "Nos últimos meses, as capacidades de raciocínio e o uso eficiente de GPUs tornaram-se a principal tendência no desenvolvimento de IA. Nosso modelo FoxBrain adotou uma estratégia de treinamento muito eficiente, focando na otimização do processo de treinamento em vez de acumular poder computacional de forma cega."
O processo de treinamento do FoxBrain foi realizado com 120 GPUs NVIDIA H100, escaladas com a rede NVIDIA Quantum-2 InfiniBand, e terminou em cerca de quatro semanas. Em comparação com modelos de inferência lançados recentemente no mercado, o método de treinamento mais eficiente e de menor custo estabelece um novo marco para o desenvolvimento da tecnologia de IA em Taiwan.
Com base na arquitetura Meta Llama 3.1 e com 70 bilhões de parâmetros, o FoxBrain supera o modelo Llama-3-Taiwan-70B de mesma escala em várias categorias do conjunto de dados de teste TMMLU+, destacando-se especialmente em matemática e raciocínio lógico.
O treinamento do modelo utilizou métodos de aumento de dados e avaliação de qualidade para 24 categorias de tópicos, gerando 98 bilhões de tokens de dados de pré-treinamento de alta qualidade em Chinês Tradicional. A arquitetura de treinamento paralela multi-nó foi implementada para garantir alto desempenho e estabilidade.
Embora o FoxBrain tenha sido originalmente projetado para aplicações internas do grupo, o Hon Hai Research Institute continuará a colaborar com parceiros tecnológicos para expandir as aplicações do modelo, compartilhar suas informações em código aberto e promover a IA em áreas como manufatura, gestão da cadeia de suprimentos e tomada de decisões inteligentes.
Durante o treinamento do modelo, a NVIDIA forneceu suporte através do supercomputador Taipei-1 e consultoria técnica, permitindo ao Instituto de Pesquisa Hon Hai completar com sucesso o pré-treinamento do modelo usando a plataforma NVIDIA NeMo. O FoxBrain também se tornará um motor importante para impulsionar a atualização das três principais plataformas da Foxconn: Smart Manufacturing, Smart EV e Smart City.
Os resultados do FoxBrain serão apresentados pela primeira vez em uma grande conferência durante a sessão "From Open Source to Frontier AI: Build, Customize, and Extend Foundation Models" no NVIDIA GTC 2025, marcada para o dia 20 de março.
Sobre o Instituto de Pesquisa Hon Hai
O Instituto de Pesquisa Hon Hai conta com cinco centros de pesquisa, cada um com uma média de 40 profissionais de alta tecnologia em P&D, todos focados no desenvolvimento de novas tecnologias, no fortalecimento do pipeline de inovação tecnológica e de produtos da Foxconn, apoiando a transformação do grupo de "força" para "inteligência" e no aumento da competitividade da estratégia "3+3" da Foxconn.
Para mais informações clica aqui.
