Swiftlet: Como Rodar LLMs de 80B em Pouca RAM no Mac e iPhone
Conheça o Swiftlet, motor de inferência que permite executar modelos de linguagem de 80B parâmetros em aparelhos com pouca memória RAM usando quantização avançada.
turbo-fieldfare: rode Gemma 4 26B com apenas 2 GB de RAM no Mac
O turbo-fieldfare e um motor open source que consegue rodar o modelo Gemma 4 com 26 bilhoes de parâmetros usando apenas 2 GB de RAM em Macs com chip M-series. Veja como a técnica funciona, como instalar e por que isso muda o jogo dos LLMs locais.
Gemma 4 27B sem GPU: como rodar LLM de 27 bilhoes de parâmetros no CPU
Um desenvolvedor rodou o Gemma 4 de 27 bilhoes de parâmetros em um Xeon de 2013, sem GPU, chegando a 5 tokens por segundo. Descubra como a inferência no CPU se tornou viável e como você pode testar LLMs poderosos no seu próprio hardware.
Jetson Nano + Ollama: rodando LLMs locais com quantização ótima
Aprenda a rodar modelos de linguagem localmente no Jetson Nano usando Ollama. Veja como escolher a quantização certa, quais modelos funcionam melhor e como criar aplicações de IA no edge com privacidade total.