AirLLM: Como Executar Modelos de 70B Parâmetros em GPUs de 4GB
Descubra como o AirLLM permite rodar modelos gigantes como Llama 3 70B em placas de vídeo populares de 4GB sem estourar a VRAM.
CUDA fora da Nvidia: o projeto que quer rodar código GPU em qualquer hardware
A Spectral Compute esta tentando fazer CUDA rodar em GPUs de outras fabricantes, sem precisar de hardware Nvidia. Entenda o projeto SCALE, como funciona e o que significa para devs de IA e computação de alto desempenho.
Nvidia, CoreWeave e Nebius: como funciona o financiamento circular no boom das GPUs
Nvidia vende GPUs para CoreWeave e Nebius, que oferecem infraestrutura de IA, e Nvidia reinveste nos provedores. Entenda o ciclo financeiro por trás do boom de hardware de IA.
Model Serving: colocando modelos de IA para rodar em produção
APIs de inferência, latência, custo, escalabilidade, versionamento e como servir modelos de machine learning de forma confiável em produção.
GPU Clusters: infraestrutura para aplicações pesadas de IA
Como clusters com GPU são usados para treinamento de modelos, inferência em larga escala e serving de modelos de linguagem e visão.