- Paul Starke (Meta FAIR) vừa phát hành web demo mới cho AI4AnimationPy — khung Python/PyTorch thay cho Unity của AI4Animation.
- Stylized biped locomotion (style100) và quadruped gait controller giờ chạy được trong browser và mobile qua ONNX Runtime, không cần clone repo hay GPU.
TL;DR
- AI4AnimationPy là bản port Python/PyTorch của AI4Animation (Sebastian Starke), bỏ hẳn dependency Unity.
- Paul Starke vừa thả demo web cho stylized biped locomotion và quadruped locomotion — chạy được trên PC, browser, và điện thoại.
- Setup 1 experiment mới chỉ mất ~10 phút so với >4 giờ ở bản Unity — ~24× nhanh hơn.
- License CC BY-NC 4.0 (non-commercial). Code + docs công khai trên facebookresearch/ai4animationpy.
What's new
Bản announcement 20/04/2026 bổ sung hai thứ quan trọng: web demo host trên Hugging Face Space, và khả năng chạy ngay trên điện thoại. Trước đây muốn thử stylized locomotion controller phải clone repo, cài Unity, build project. Giờ mở link là thấy nhân vật bước đi ngay trong tab trình duyệt.
Hai demo đang bật:
- Neural Biped Locomotion — stylized walking controller train trên dataset
style100, cho phép đổi style gait (stealthy, drunk, elated, ...) real-time. - Neural Quadruped Locomotion — dog locomotion với gait transitions (walk → trot → gallop) và action poses, kế thừa từ dataset quadruped MANN/NSM.
Why it matters
AI4Animation của Sebastian Starke là chuỗi paper kinh điển ở SIGGRAPH — PFNN (2017), MANN (2018), NSM (2020), Local Motion Phases (2021), Codebook Matching (2022+). Nhưng vì gắn chặt với Unity Editor và C#, barrier để sinh viên, researcher, indie dev thử là rất cao. AI4AnimationPy gỡ bỏ barrier đó:
- Train, inference, và visualize nằm trong cùng 1 process Python — không cần switch tool.
- Chạy được headless trên server cluster để train, rồi infer ONNX trên browser.
- Đây là tín hiệu mạnh rằng neural character animation đang rời khỏi game studio để đi vào workflow ML chuẩn.
Technical facts
- Python 3.12+, backend NumPy hoặc PyTorch (switchable).
- Kiến trúc ECS (Entity-Component-System) kiểu game engine với lifecycle Start → Update → Draw → GUI.
- Rendering real-time qua raylib với deferred shading và shadow mapping.
- Neural modules: MLP, Autoencoder, Flow Matching, Codebook Matching.
- Motion import: GLB, FBX, BVH. Internal format:
.npz(3D position + 4D quaternion mỗi joint mỗi frame). - Deploy inference qua ONNX Runtime — đây là cách demo chạy được trong browser và mobile.
- 3 execution modes:
Standalone(full render),Headless(server training),Manual(external control).
Comparison
| Aspect | AI4Animation (Unity) | AI4AnimationPy |
|---|---|---|
| Runtime | Unity Editor + C# | Python 3.12 / PyTorch / ONNX |
| Setup thời gian 1 experiment | > 4 giờ | ~10 phút |
| Data processing | Unity pipeline | NumPy / PyTorch |
| Chạy trên browser/phone | Không | Có (ONNX Web) |
| Headless server training | Khó | Native |
| License | MIT | CC BY-NC 4.0 |
Use cases
- Game dev indie: prototype locomotion cho nhân vật không cần animator team.
- Research RL / motion: reproduce baseline controller để so sánh với model mới.
- VR/avatar: embodied avatar motion real-time, chạy client-side.
- Giáo dục: sinh viên học neural animation chỉ cần trình duyệt — không cần cài đặt.
- Content creator: sketch gait / style nhanh trước khi đưa sang pipeline production.
Limitations & pricing
- License CC BY-NC 4.0 — không cho mục đích thương mại. Studio muốn ship game phải negotiate riêng với Meta.
- Python 3.12+ bắt buộc; Conda được khuyến nghị.
- Demo trên điện thoại yếu có thể bị giới hạn FPS hoặc joint count — đây là ONNX Web, không phải native app.
- Chưa có SDK iOS/Android native — mới dừng ở PWA/web.
- Dataset train (style100, quadruped MANN) không redistribute kèm repo, cần download theo hướng dẫn.
- Giá: miễn phí, open source.
What's next
Các module có sẵn ở repo Unity gốc nhưng chưa port: scene interaction (sitting, climbing, object manipulation), sports & fighting controllers, embodied avatar cho AR/VR. Với browser demo đã stable, suy đoán hợp lý là những module này sẽ lần lượt lên HF Space trong các release tiếp theo.
Nguồn: facebookresearch/ai4animationpy, docs, web demos, Paul Starke on X.
