ChatGPT custa mais de R$ 3,5 milhões por dia para funcionar, diz analista

O ChatGPT deve custar mais que US$ 700 mil (R$ 3,5 milhões em conversão direta) diariamente para funcionar, apontou o analista-chefe da empresa de pesquisa de semicondutores SemiAnalysis Dylan Patel. O chatbot conversacional da OpenAI requer uma quantidade absurda de desempenho computacional para atender a demanda de usuários do mundo todo, e a Microsoft, uma das principais investidoras da companhia, quer reduzir esse custo.

“A maior parte do custo fica em torno do gasto com servidores que eles precisam [para operar a IA]”, afirmou o analista.

Agora, com a disponibilidade do GPT-4, a manutenção deve ter ficado ainda mais cara, já que a avaliação dele considerava apenas o chatbot usando o GPT-3, modelo mais antigo da plataforma da OpenAI.

O treinamento por si só custa dezenas de milhões de dólares, mas o gasto com a parte operacional e custos de inferência (processamento de dados) são muito maiores, afirmaram Patel e outro analista da SemiAnalysis, Afzal Ahmad, ao site Forbes.

“Na verdade, os custos para inferir o ChatGPT excedem os custos de treinamento semanalmente”, disseram.

Microsoft quer baratear operações

Para tornar a atividade do modelo mais barata, a Microsoft aparentemente desenvolve hardware específico para processamento de dados com inteligência artificial. Essa seria função do Athena, um chip otimizado para IA supostamente em desenvolvimento desde 2019, ano em que a empresa fechou um acordo de US$ 1 bilhão com a OpenAI.

Há cerca de 300 funcionários da Microsoft focados no projeto, mas ele não seria lançado para o público geral: ele seria utilizado exclusivamente pela Microsoft e pela OpenAI para alimentar seus produtos com IA já em 2024, apontaram fontes do site The Information.

Fonte: 1 2 3 4

Veja também

https://youtu.be/BlpXrJDx074