- WiFi-3D-Fusion là tool open-source (GPL-2.0) dựng skeleton 3D người trong thời gian thực từ CSI signal, không cần camera.
- Chạy 10 FPS, phân giải 6cm trên băng 5GHz, xây trên nền nghiên cứu Person-in-WiFi-3D tại CVPR 2024.
- Phần cứng tối thiểu chỉ cần ESP32 hoặc USB WiFi adapter RTL8812AU - miễn phí hoàn toàn.
TL;DR
WiFi-3D-Fusion là dự án open-source do MaliosDark phát triển, cho phép phát hiện chuyển động và dựng tư thế 3D của người trong không gian chỉ bằng sóng WiFi - không camera, không radar đắt tiền. Phiên bản v3.0.0 ra mắt ngày 25/8/2025, đạt 1,4k stars chỉ trong vài ngày. Miễn phí, GPL-2.0, cài đặt được ngay trên Linux với phần cứng phổ thông.
WiFi biết bạn ở đâu
Mỗi router WiFi trong nhà liên tục phát sóng radio. Khi cơ thể người di chuyển qua không gian, nó làm biến đổi các tham số truyền sóng - gọi là CSI (Channel State Information). Không phải vị trí địa lý, mà là biên độ và pha sóng thay đổi cực kỳ tinh tế theo từng động tác.
Kỹ thuật này - WiFi sensing - đã được nghiên cứu từ nhiều năm trước với các hệ thống như SpotFi (2015) cho định vị phòng, WiSee cho nhận diện cử chỉ. WiFi-3D-Fusion đẩy xa hơn một bước: dùng mạng CNN để từ CSI signal dựng nguyên bộ xương 3D của người - realtime, visualize luôn trên trình duyệt.
Nền tảng kỹ thuật đến từ bài báo Person-in-WiFi-3D được trình bày tại CVPR 2024 - hội nghị computer vision hàng đầu thế giới. WiFi-3D-Fusion đóng gói nghiên cứu đó vào một pipeline chạy được ngay, bổ sung continuous learning và giao diện web 3D.
Dưới nắp capô
Pipeline chạy theo 4 tầng:
- CSI Acquisition: Thu signal từ ESP32 qua UDP (port 5566) hoặc từ USB WiFi adapter RTL8812AU chạy Nexmon firmware ở monitor mode.
- Detection: CNN phân tích biên độ + pha CSI, phát hiện người, tracking multi-person qua ReID (re-identification).
- Skeleton Estimation: Mô hình bridge với Person-in-WiFi-3D tái tạo bộ xương 3D từ các pattern CSI.
- Visualization: Three.js web interface stream kết quả ở 10 FPS - xoay cảnh 3D, zoom, pan ngay trên browser.
Điểm khác biệt so với pipeline học thuật thông thường: hệ thống tự học liên tục trong nền. Mỗi detection có độ tin cậy cao sẽ được thu thập làm training sample, CNN tự update mà không ngắt visualization. Adaptive thresholding tự chỉnh theo môi trường.
| Thông số | Giá trị |
|---|---|
| Frame rate visualization | 10 FPS (Three.js web) |
| Phân giải (2.4GHz) | ~12.5cm |
| Phân giải (5GHz) | ~6cm |
| Ngôn ngữ chính | Python 3.12 (94.4% codebase) |
| OS yêu cầu | Ubuntu 22.04+ (Kernel 6.14 tested) |
| GPU | Optional (CUDA, chỉ cần cho Pose3D bridge) |
| License | GPL-2.0, miễn phí |
Trong thực tế - ai nên thử ngay
Cộng đồng Hacker News đã nêu ra một vài use case thực sự hấp dẫn:
- Home Assistant integration: Nhiều người muốn dùng router WiFi sẵn có thay vì mua thêm cảm biến mmWave để biết ai đang ở phòng nào. WiFi-3D-Fusion về lý thuyết làm được điều này mà không cần thêm phần cứng camera.
- Theo dõi tư thế ngồi: Detect pose để cảnh báo khi ngồi sai cách - không cần camera trước mặt, bảo vệ privacy tốt hơn.
- Monitoring không xâm phạm: Phát hiện ngã cho người cao tuổi trong phòng ngủ mà không đặt camera - lý tưởng cho các không gian nhạy cảm.
- Research platform: Codebase 94.4% Python, kiến trúc hackable - tốt cho nghiên cứu CSI + deep learning.
Quân sự Mỹ đã dùng công nghệ tương tự từ nhiều năm. Lumineye là công ty thương mại hoạt động trong mảng này. WiFi-3D-Fusion là phiên bản open-source đầu tiên đóng gói pipeline đủ dùng cho developer cá nhân.
So với những gì đã có
WiFi sensing không phải là ý tưởng mới - điểm khác biệt là ở packaging và accessibility:
- vs. WiPose/SpotFi/Chronos: Các hệ thống học thuật cũ chỉ track vị trí hoặc cử chỉ thô, không có 3D skeleton realtime.
- vs. Camera-based pose estimation: WiFi không cần ánh sáng, hoạt động qua tường, bảo vệ privacy tốt hơn. Nhược điểm: độ chính xác thấp hơn camera nhiều.
- vs. mmWave radar (60GHz): Radar cho phân giải cao hơn nhưng phần cứng đắt, proprietary. WiFi-3D-Fusion dùng hardware phổ thông - ESP32 ($5-10) hoặc RTL8812AU USB adapter (~$20).
- vs. Lumineye (commercial): Lumineye là commercial/closed-source. WiFi-3D-Fusion là open-source thay thế duy nhất hiện tại.
Giới hạn cần biết trước khi thử
Cộng đồng kỹ thuật đánh giá cao ý tưởng nhưng cũng nêu thẳng vấn đề:
Về kỹ thuật: Phân giải 6-12.5cm bị giới hạn bởi vật lý của bước sóng WiFi. Môi trường lý tưởng là phòng ổn định, ít nhiễu. Các kịch bản được hứa hẹn như "tòa nhà đang cháy" hay "đường hầm sập" thực ra là những nơi WiFi sensing hoạt động kém nhất - RF interference cao, không có line-of-sight ổn định.
Về project: README bị cộng đồng Hacker News chỉ ra là do AI generate phần lớn (GPT-4o/Claude), diagram chứa text vô nghĩa như "Wayelet CSi tensas". Đây là "AI pet project" wrapper xung quanh các tool có sẵn - đặc biệt là Person-in-WiFi-3D CVPR 2024. Chưa có benchmark độc lập xác nhận các tuyên bố.
Khi nào nên thử: Nếu bạn là researcher muốn experiment với CSI + deep learning, hoặc home automation enthusiast tò mò về camera-free sensing - đây là starting point tốt. Không dùng cho production hay ứng dụng an toàn mà chưa validate kỹ.
Nguồn & tài nguyên
Cài đặt:
git clone https://github.com/MaliosDark/wifi-3d-fusion.git
cd wifi-3d-fusion
bash scripts/install_all.sh
source venv/bin/activate
python run_js_visualizer.py
# Mở http://localhost:5000Nguồn: GitHub MaliosDark/wifi-3d-fusion, Person-in-WiFi-3D (CVPR 2024), Hacker News discussion.