Từ Batch sang Micro-Batch Streaming: Bài học xương máu từ Delta Index Pipeline

Pipeline delta index search/ads giảm worst-case freshness lag từ 10 phút xuống 30 giây (giảm 50%) sau khi chuyển sang Spark Structured Streaming micro-batch với trigger 30 giây. Bottleneck thực sự không phải processing cost mà là scheduling delay và orchestration overhead. Hai lần thất bại (record-level streaming + success file markers) trước khi tìm ra 4 pattern cốt lõi. Áp dụng cho pipeline xử lý hàng triệu documents, delta index hàng chục GB.