Bancos deram cheque em branco para IA e agora tentam conter gastos

Ninguém nunca quer dar um cheque em branco para uma equipe de tecnologia. No entanto, para muitos diretores financeiros, foi exatamente isso que lhes foi pedido que fizessem na correria inicial para adotar a IA.

Agora, depois de inúmeras contas inesperadas, encontrar uma maneira

Agora, depois de inúmeras contas inesperadas, encontrar uma maneira de controlar os custos tornou-se uma necessidade.

Este é um problema latente nos bancos, onde os orçamentos de tecnologia já estão sob pressão de demandas concorrentes que vão desde a modernização de TI legada até a cibersegurança.

Algumas das maiores esperanças de ganhos de produtividade estão depositadas na IA agêntica, que pode lidar com tarefas complexas de forma autônoma, mas é inerentemente difícil de orçar, pois a quantidade de poder computacional que cada tarefa consome pode ser imprevisível.

“Na verdade, acho que ninguém

“Na verdade, acho que ninguém na organização tem um bom controle sobre isso — se eu vou fazer XYZ, qual vai ser o meu custo?”, disse Bhavi Mehta, sócio da Bain & Co. e líder global de análises avançadas em serviços financeiros.

“À medida que a IA avança para raciocínios mais sofisticados e fluxos de trabalho autônomos, os tokens necessários para uma determinada tarefa podem variar significativamente.

Isso torna a compreensão do custo juntamente com o valor do negócio cada vez mais importante à medida que os bancos escalam a IA”, acrescentou.

Apenas 12 dos 50 maiores bancos globais monitorados pela Evident, empresa de benchmarking de IA, atribuíram publicamente retornos projetados ou realizados à sua adoção de IA, de acordo com seu relatório mais recente.

No entanto, é raro o CEO que não fala sobre os benefícios potenciais.

O aumento do investimento em tecnologia surgiu durante as teleconferências de resultados do terceiro trimestre em vários bancos dos EUA, do Citigroup Inc.

ao Goldman Sachs Group Inc., mas apenas alguns executivos tinham números precisos para seus gastos com IA ou os benefícios financeiros que estão gerando.

Assim, à medida que a indústria passa do estágio de experimentação para o de implantação, a Bloomberg News conversou com mais de uma dúzia de engenheiros, executivos e consultores sobre suas experiências e estratégias.

Série D liderada pela Sapphire avalia a empresa em US$ 1,4B, acima da Enter, e vai financiar a aposta em IA física para a indústria pesada

Estudo de INSEAD e Harvard aponta que ganhos expressivos surgem quando a IA transforma fluxos de trabalho inteiros, e não apenas tarefas isoladas

Embora o tokenmaxxing — a prática de engenheiros usarem IA o máximo possível — tenha se tornado notório — essa nem sempre é a causa da explosão no uso de tokens.

Quando o monitoramento do Deutsche Bank AG sinalizou funcionários individuais consumindo volumes anormalmente grandes de tokens, muitos acabaram se revelando fazendo trabalho útil, disse Christoph Rabenseifner, diretor de estratégia de tecnologia, dados e inovação do banco.

Em vez de interromper o uso, o banco direcionou-o para uma finalidade mais produtiva.

Além disso, testou uma tarefa em um modelo menor e especialmente treinado, em vez de um grande modelo de ponta, reduzindo os custos em várias vezes, acrescentou Rabenseifner.

O Banco Santander SA executa grandes modelos de fronteira apenas para verificar se uma aplicação atende ao seu padrão de qualidade, depois transfere cargas de trabalho comprovadas para modelos mais leves e baratos.

A abordagem ajudou a reduzir os custos de execução de cerca de €5 (US$ 5,61) para €0,03 por processo de aprovação de empréstimo, disse Ignacio Bernal, diretor de inteligência artificial do banco.

“Quando você move a IA de pilotos para produção em um banco global, o custo de inferência deixa de ser um erro de arredondamento e se torna uma linha de custo operacional real”, disse Bernal, observando que alguns processos são executados milhões de vezes por ano, aumentando significativamente as despesas computacionais.

O Canadian Imperial Bank of Commerce descobriu que seus modelos mais poderosos, incluindo o Opus da Anthropic PBC, podem custar C$ 3.000 (US$ 2.130) por funcionário por mês, uma conta que poderia aumentar rapidamente entre milhares de trabalhadores.

Como medida de controle de custos, o banco restringiu o acesso a algumas centenas de funcionários, enquanto limitou seu mais recente workspace integrado, o CAI 2.0, ainda em teste, a 250 usuários que podem gastar entre 4 e 250 dólares canadenses por mês cada.