- CTO của Listen Labs - startup AI vừa vào Forbes AI 50 với $100M funding - chỉ ra 2 profile kỹ sư tạo nên agent tốt: người "cảm" được LLM và người product engineer iterate nhanh từ thực tế.
- 57.3% tổ chức đã có agent trên production năm 2026.
- Vấn đề không còn là xây hay không, mà là xây nhanh thế nào.
TL;DR
Florian Jue, Co-Founder & CTO của Listen Labs (Forbes AI 50 2026, $100M funding, 1M+ AI interviews), vừa chia sẻ một framework đơn giản nhưng cực kỳ thực tế: chỉ có 2 kiểu kỹ sư thực sự build được agent tốt.
- Kiểu 1: Người hiểu sâu LLM làm được và không làm được gì - và có khả năng "cảm" khi có gì đó sai
- Kiểu 2: Product engineer di chuyển nhanh, bám sát khách hàng, iterate từ thực tế thay vì whiteboard
Đây không phải góc nhìn học thuật. Florian đang build một platform AI đã thực hiện hơn 1 triệu cuộc phỏng vấn khách hàng cho Microsoft, Sweetgreen, Perplexity - và anh biết rõ ai trong team làm ra sản phẩm.
Tại Sao Agent Engineering Khác Hẳn Software Thường
Vấn đề cốt lõi là AI agent không xác định được (non-deterministic). Trong software truyền thống, bạn biết input, bạn define output. Agent thì không - user có thể gõ bất cứ thứ gì bằng ngôn ngữ tự nhiên, và mỗi input đều là một edge case tiềm năng.
LangChain đã tổng kết điều này rõ ràng trong bài phân tích về agent engineering:
- Không thể debug theo cách cũ - logic nằm bên trong model, không phải trong code
- "Hoạt động" không phải trạng thái nhị phân - agent có thể uptime 99.99% mà vẫn đang làm sai hoàn toàn
- Tweak nhỏ = hậu quả lớn - thay đổi nhỏ trong prompt có thể gây ra hành vi hoàn toàn khác
Đây chính xác là lý do tại sao Florian nhấn mạnh profile đầu tiên: người cảm được khi LLM đang lạc hướng.
Profile 1 - Người Có LLM Intuition
Đây không phải researcher hay ML engineer theo nghĩa truyền thống. Đây là người đã làm việc đủ lâu với LLM để phát triển một loại "cảm giác" về model behavior.
Họ biết:
- Model này mạnh ở reasoning chain dài nhưng hay hallucinate fact cụ thể
- Prompt kiểu này sẽ khiến model interpret lệch ý
- Output này trông đúng về mặt format nhưng sai về logic
Không phải kiến thức từ paper. Là kinh nghiệm từ hàng trăm giờ trace production data. Theo khảo sát LangChain với 1.300+ chuyên gia, 89% tổ chức đã implement observability cho agent - và 62% dùng detailed tracing để inspect từng tool call. Người có LLM intuition chính là người đọc được những trace đó và biết cái gì đang sai trước khi nó thành vấn đề lớn.
Profile 2 - Product Engineer Iterate Từ Thực Tế
Florian nói rõ: "iterate in the real world versus whiteboard." Đây là câu chốt.
Trong agent engineering, mindset cần thay đổi hoàn toàn:
Từ "test exhaustively, then ship" sang "test reasonably, ship to learn what actually matters"
Product engineer giỏi build agent không ngồi plan mọi edge case từ trước. Họ ship nhanh, quan sát production behavior, rồi refine dựa trên data thật. Vòng lặp của họ là: Build - Test - Ship - Observe - Refine - Repeat.
Những công ty đang làm tốt nhất - Clay, Vanta, LinkedIn, Cloudflare - đều hoạt động theo mô hình này. Clay dùng agent để tự động hóa toàn bộ pipeline từ prospect research đến CRM updates. LinkedIn dùng agent scan hàng triệu hồ sơ tuyển dụng và rank ứng viên tức thời. Điểm chung: họ đều treat production như "primary teacher", không phải endpoint của development.
Số Liệu Agent Trong Thực Tế 2026
| Metric | Con số |
|---|---|
| Tổ chức có agent trên production | 57.3% |
| Large enterprise (10k+ nhân viên) có agent prod | 67% |
| Đã implement observability cho agent | 89% |
| Dùng detailed tracing từng tool call | 62% |
| Cite quality là rào cản lớn nhất | 32% |
| Dùng nhiều hơn 1 AI model trong production | 75%+ |
| Không fine-tune, dùng base model + prompt + RAG | 57% |
Nguồn: LangChain State of Agent Engineering - khảo sát 1.300+ chuyên gia.
Use case phổ biến nhất là customer service (26.5%), tiếp theo là research & data analysis (24.4%). Trong enterprise lớn, internal workflow automation đứng đầu - optimize nội bộ trước khi đưa agent ra tiếp xúc khách hàng.
Điểm Yếu Và Cái Bẫy Phổ Biến
Dù adoption cao, các team vẫn gặp nhiều vấn đề thực tế:
- Hallucination và output không nhất quán - challenge số 1 ở enterprise 10k+ nhân viên
- Latency vs quality trade-off - agent phức tạp hơn = chậm hơn = UX tệ hơn với customer-facing app
- Security - với tổ chức 2k+ nhân viên, 24.9% cite security là rào cản thứ 2, vượt cả latency
- Context management - nhiều team khó quản lý context chính xác và nhất quán ở scale lớn
Đây là lý do hai profile của Florian bổ sung cho nhau: người có LLM intuition phát hiện sớm failure mode, product engineer đảm bảo team không bị blocked mà tiếp tục iterate.
Tiếp Theo Của Agent Engineering
Câu hỏi trong ngành không còn là "có nên build agent không" - mà là "build nhanh đến đâu và reliable đến mức nào."
Roadmap kỹ thuật đang đi theo hướng:
- One-click deployment cho long-running agent tasks trên infrastructure chuyên biệt
- AI observability agent - agent tự monitor và categorize behavior của agent khác (LangSmith Insights Agent)
- No-code agent builder cho business user không cần viết code
- Memory improvements - primitive core tiếp theo để agent nhớ context qua nhiều session
"Agentic everything" vẫn đang ở giai đoạn đầu. Nhưng window để học những skill này - cả LLM intuition lẫn product iteration mindset - đang hẹp dần.
Nguồn: LangChain Blog, State of Agent Engineering, Listen Labs.
