Amazon vil lade PyTorch-kode køre på egne Trainium-chips

Amazon Web Services (AWS) har annonceret TorchNeuron, en åben (open source) udvidelse til det udbredte AI-værktøj PyTorch. Den skal gøre det muligt at køre eksisterende modelkode, biblioteker og værktøjer på Amazons egne AI-chips, Trainium. Ifølge planen åbner den som offentlig beta den 20. oktober 2026 under konferencen PyTorch Conference North America.

Et lille skift i koden

Ifølge AWS er skiftet i det simpleste tilfælde at ændre enheden til »neuron«, for eksempel med .to('neuron'), i stedet for CUDA, som er Nvidias system. Kompilerede modeller kræver, at man angiver Neuron-backenden i torch.compile. Installation sker med pip install torch-neuronx, og koden udgives under Apache 2.0-licensen på GitHub.

Backenden understøtter Trainium2 og Trainium3. Den kan også bruges sammen med Hugging Face Transformers v5, Diffusers, TRL og TorchTitan, og der findes vLLM-plugins til inferens, altså til at køre færdige modeller. AWS opgiver, at de løbende kører 100.000 Hugging Face-modeller på Trainium, hvilket ifølge AWS dækker 99,9 % af reel brug målt på downloads.

Hvad siger brugerne?

Deepgram oplyser, at Trainium i de benchmarks, de evaluerede, behandler omkring 60 % flere sekunder inputlyd pr. dollar end deres nuværende GPU-løsninger. Det er virksomhedens eget tal og ikke uafhængigt efterprøvet. Overførslen af modellen tog flere måneder med hjælp fra AWS.

Cartesias medstifter Arjun Desai siger, at de kørte deres standardpipeline med minimale ændringer i PyTorch-koden, men at de selv skriver NKI-kerner til de lag, der driver latenstiden. Hugging Face kalder TorchNeuron en praktisk udmøntning af deres »silicon neutrality«.

Huller i første udgave

Første udgave understøtter ikke blandt andet dynamiske shapes, sparse tensors, NestedTensor og forward-mode autograd. TorchAO og FP8 er kun i privat beta og forventes generelt tilgængelige i næste udgave. I PyTorchs egne tests fra august 2026 blev omkring 69.000 af ca. 154.000 testudfald sprunget over. Af dem mangler ca. 22.000 en native Neuron-lowering af operatorer.

Ifølge AWS' dokumentation falder operatorer uden understøttelse tilbage til CPU i eager-tilstand med advarsler. AWS siger, at de fortsat arbejder på at lukke huller.

The Next Web fremhæver, at udgaven har betydelige huller, og at værktøjet rammer Nvidias styrkeposition. Mediet nævner Cartesia, Deepgram, Lieber Institute, Hugging Face og Uber som tidlige brugere. Det skriver også, at Amazons chipdivision har ca. 25 mia. dollar i årlig omsætning. Det tal er ikke bekræftet i AWS' egen tekst.

For almindelige AI-udviklere er pointen, at det på sigt kan blive lettere at vælge andre chips end Nvidias uden at skrive alt om. Hvor let det bliver i praksis, afhænger af, hvor mange huller der bliver lukket.