Esta startup aposta que o tokenmaxxing criará o próximo gigante da

Este artigo é uma tradução/adaptação para o português (PT-BR) de uma notícia do TechCrunch.

“Dê-me fichas. Apenas me dê fichas. Quero-as rapidamente. Quero-as baratas. Quero-as agora.” Esse é o mantra para desenvolvedores que criam software em modelos generativos de IA, ou pelo menos o que o CEO da Parasail, Mike Henry, ouve. A Parasail fornece um serviço de computação em nuvem para empresas que executam modelos de IA para inferência, e Henry disse ao TechCrunch que gera 500 bilhões de tokens por dia. Que tal isso para tokenmaxxing? Henry era executivo da Groq, fabricante de chips com foco em LLM, onde desenvolveu a oferta de nuvem da empresa, um reconhecimento inicial de que os desenvolvedores que criam software em modelos de IA desejariam processamento em nuvem especializado para suas necessidades. Agora, depois de sair do modo furtivo há um ano, a Parasail arrecadou US$ 32 milhões na Série A para fazer isso em grande escala. Henry tem experiência em design de chips físicos, mas a Parasail não está comprometida em possuir seus próprios chips. Embora algumas de suas GPUs sejam próprias, a empresa aluga principalmente tempo de processamento em 40 data centers em 15 países ao redor do mundo e compra mais de mercados de liquidez, orquestrando tudo isso nos bastidores para reduzir o custo das solicitações de inferência.

Ao alocar cargas de trabalho de forma inteligente e evitar picos de procura, a empresa pretende competir com empresas que possuem o seu próprio silício e que podem ser limitadas pelos compromissos e cargas de trabalho existentes dos clientes. O potencial da empresa depende da proliferação contínua de modelos e agentes de código aberto fora dos laboratórios fronteiriços. Os executivos e investidores da Parasail dizem que isso é impulsionado pelo custo crescente e pelo atrito do uso de ofertas de empresas como Anthropic e OpenAI. Em vez disso, está a emergir uma arquitetura híbrida, de acordo com Andreas Stuhlmüller, CEO da Elicit, uma startup que arrecadou 22 milhões de dólares da Série A para desenvolver um assistente de investigação para literatura científica. Seus clientes nas principais empresas farmacêuticas usam a ferramenta baseada em LLM para revisar e analisar dados de dezenas de milhares de artigos científicos.

“Mudamos mais para modelos abertos porque é muito difícil enviar 100.000 solicitações para um endpoint de API”, disse Stuhlmüller ao TechCrunch, especialmente agora que a empresa está contando com agentes para melhorar sua oferta, dividindo tarefas e trabalhando de forma mais estratégica em horizontes de tempo mais longos. Os modelos abertos tratam da triagem inicial para reduzir o custo do trabalho, antes que um modelo de fronteira mais capaz forneça uma resposta final. A proliferação de consultas de modelos, à medida que os agentes se tornam uma parte cada vez mais comum do desenvolvimento de software, está a impulsionar o investimento em empresas como a Parasail, que fornecem a infra-estrutura para inferências baratas. Samir Kumar, sócio da Touring Capital que co-liderou esta rodada, disse ao TechCrunch que espera que a inferência represente pelo menos 20% do custo de construção de software no futuro.

Quanto desse mercado poderia ser do Parasail? No lotado espaço de computação em nuvem, Henry argumenta que o foco de sua empresa na inferência (sem treinamento permitido) e a disposição de aceitar clientes iniciantes sem compromissos de longo prazo diferenciam sua oferta de grandes empresas de computação em nuvem focadas em negócios empresariais e até mesmo de concorrentes mais bem financiados no espaço de inferência em nuvem, como Fireworks AI e Baseten. É claro que existe um tipo diferente de risco quando todos os seus clientes são startups da Série B no imprevisível setor de IA. Steve Jang, sócio da Kindred Ventures, o outro co-líder nesta arrecadação de fundos, diz que a economia da implantação de modelos exigirá o tipo de corretagem de computação que a Parasail oferece. E isso antes do uso generalizado de modelos para geração de conteúdo e robótica. "Todos pensavam que havia uma bolha de IA. Não existe bolha de IA", disse ele ao TechCrunch. “A demanda por inferência está superando em muito a oferta.”