A Perplexity disponibilizou o código-fonte do Lily, um mecanismo de inferência local desenvolvido em Rust e otimizado para o silício Apple. A ferramenta funciona como o núcleo da tecnologia Hybrid Compute presente no Perplexity Computer, permitindo que modelos de IA sejam executados diretamente em máquinas Apple sem necessidade de conexão com servidores remotos.
O que é o Lily
O Lily é um motor de inferência especializado em executar o modelo Qwen 3.6-35B-A3B em chips da série Apple Silicon. Diferentemente de motores genéricos, foi construído com otimizações específicas combinando Rust, linguagem de programação focada em performance e segurança, com Metal, framework proprietário da Apple para computação acelerada por GPU.
A abordagem de especialização, focando em uma única arquitetura de chip e um modelo específico, resultou em ganhos mensuráveis de velocidade em comparação com soluções mais genéricas.
Desempenho alcançado
Em testes realizados em um Mac M5 Max com 40 núcleos e 128 GB de memória, o Lily apresentou resultados que superam a ferramenta MLX-LM, outro motor de inferência popular para Apple Silicon. A aceleração média foi de 1,23x no processamento de prefill (preparação inicial de tokens) e 1,35x no decode (geração sequencial de respostas).
Embora os ganhos sejam modestos, representam melhorias concretas que impactam o tempo de resposta e consumo energético em aplicações locais.
Relevância para usuários e desenvolvedores
A liberação do código-fonte marca uma estratégia de Perplexity em criar um ecossistema aberto em torno de inferência local. Para proprietários de Macs com processadores Apple Silicon, a disponibilidade de um motor otimizado reduz a dependência de computação em nuvem para tarefas de IA, oferecendo privacidade e menor latência.
Para desenvolvedores, o código aberto permite estudar técnicas de otimização específicas para Metal e Rust, potencialmente influenciando futuras implementações de inferência em dispositivos Apple. A especialização funcional do Lily também sugere um modelo onde diferentes cenários de uso receberiam motores igualmente especializados, em vez de soluções one-size-fits-all.
Limitações da abordagem
A especialização do Lily em um único modelo e uma família de chips específica, embora resulte em desempenho superior, limita sua versatilidade. Usuários que desejam rodar outros modelos ou possuem chips diferentes ainda precisarão de alternativas. Esse trade-off entre performance e flexibilidade é comum em engenharia de software e reflete uma escolha deliberada de prioridades.
Fonte: MarkTechPost
Sobre o autor
