TL;DR

Mixedbread vừa công khai mgrep — CLI semantic search hoạt động như grep nhưng hiểu ngôn ngữ tự nhiên, index được code, text, PDF và ảnh. Trong benchmark 50 task, Claude Code + mgrep tốn $0.23/task so với $0.49 của bản vanilla (rẻ hơn ~53%), chạy trong 82s thay vì 158s (nhanh hơn ~48%), và đạt win rate 76% so với 24%. Repo Apache-2.0, đã đạt ~4,066 stars sau ~5 tháng.

mgrep 50-task benchmark: cost, time, win rate so với Claude Code vanilla

What's new

Tagline của dự án trên mgrep.dev"the universal semantic search CLI for agents". Ý tưởng đơn giản: thay vì gõ regex để tìm chuỗi, bạn gõ câu hỏi như đang nói chuyện, và công cụ trả về các đoạn liên quan nhất.

mgrep "where do we set up auth?" src/lib
mgrep --web --answer "How do I integrate a JavaScript runtime?"
mgrep --agentic "What are the yearly numbers for 2020-2024?"

Cài đặt một dòng: npm install -g @mixedbread/mgrep rồi mgrep login (device flow) hoặc đặt biến MXBAI_API_KEY cho môi trường headless.

Why it matters

Coding agent hiện tại đốt rất nhiều token chỉ để tìm file. Grep trả về hàng trăm match thô, LLM phải đọc và loại bớt trước khi thực sự suy luận. mgrep chuyển việc lọc context sang tầng retrieval: embedding + rerank trả ra đúng 5–10 đoạn cần đọc, LLM chỉ tiêu token vào reasoning.

Kết quả đo được rõ ràng: cùng bộ 50 task, Claude Code đi kèm mgrep không chỉ rẻ hơn một nửa mà còn thắng nhiều hơn gần gấp 3 lần theo đánh giá của judge. Đây là lần đầu có số liệu công khai cho thấy gắn thêm semantic retrieval vào coding agent là thắng cả về chi phí lẫn chất lượng, không phải trade-off.

Technical facts

Biểu đồ benchmark mgrep vs grep: cost, time, win rate

  • Engine: Mixedbread Search — semantic retrieval model + context-aware parsing + reranking bật mặc định (tắt bằng --no-rerank).
  • Multimodal: code, text, PDF, ảnh. Audio và video đang trên roadmap.
  • Giới hạn mặc định: 1MB mỗi file, 1,000 file mỗi thư mục (đều nới được qua flag, env, hoặc config).
  • Agentic mode: cờ --agentic tự chia một câu hỏi thành nhiều sub-query, gộp kết quả.
  • Web hybrid: cờ --web truy vấn internet song song local; kết hợp với --answer trả lời tóm tắt kèm trích dẫn.
  • Sync: mgrep watch chạy nền, lắng nghe file watcher, tôn trọng .gitignore.mgrepignore.
  • Stack: TypeScript 81.6%, Shell 13.3%, Python 3.8%; quản lý gói bằng pnpm.
  • Isolation: cờ --store <name> để chia workspace, tránh trộn index giữa các repo.

Comparison

Tiêu chígrep / ripgrepmgrep
Cơ chếPattern / regexEmbedding + rerank semantic
InputChuỗi hoặc regex chính xácCâu hỏi ngôn ngữ tự nhiên
File typesTextCode, text, PDF, ảnh
Web searchKhông--web tích hợp
StorageLocalCloud Mixedbread, team-shareable
Agent pluginKhôngClaude Code, OpenCode, Codex, Factory Droid
Token cost với LLMCao~2× thấp hơn

mgrep không thay thế grep. Khi bạn biết chính xác chuỗi cần tìm, ripgrep vẫn nhanh và chạy offline. Khi bạn chỉ mô tả được ý tưởng — hoặc khi mục tiêu là feed context cho agent — mgrep thắng rõ rệt.

Use cases

  • Onboarding repo lạ: mgrep "where do we set up auth?" src/lib thay cho 20 phút đọc README.
  • Knowledge base đa định dạng: index code + PDF design doc + ảnh architecture diagram trong cùng một store, hỏi một câu duy nhất.
  • Feed context cho agent: cài plugin mgrep install-claude-code, agent tự gọi retrieval thay vì scan toàn bộ file tree.
  • Research theo lô: --agentic phù hợp khi câu hỏi cần nhiều góc nhìn.
  • Hybrid research: --web --answer gộp kiến thức local và internet để trả lời kèm trích dẫn.
  • CI/CD: dùng MXBAI_API_KEY headless để chạy semantic scan trong pipeline, ví dụ phát hiện code pattern rủi ro theo mô tả, không phải regex.

Limitations & pricing

  • Cloud-only: mọi thứ index đều đi lên Mixedbread; chưa có tuỳ chọn self-host. Team làm với code nhạy cảm hoặc thuộc ngành regulated cần review compliance trước.
  • Giới hạn mặc định: 1MB/file, 1,000 file/dir — monorepo lớn phải chỉnh tay.
  • Audio & video: chưa hỗ trợ, đang trong roadmap.
  • Pricing backend: CLI Apache-2.0 miễn phí, nhưng Mixedbread Search là dịch vụ cloud; bảng giá không xuất hiện trên README hay landing — cần đăng ký lấy API key qua mixedbread.com.
  • Integration agent: Claude Code, OpenCode, Codex, Factory Droid đã có; Cursor và Windsurf ghi là "coming soon".

What's next

Repo tạo ngày 2025-11-06 và đã đạt hơn 4,000 stars tính đến 2026-04-24, với commit mới nhất cùng ngày — tốc độ phát triển rất dày. Các hướng tiếp theo được nhắc đến công khai là hỗ trợ audio/video, mở rộng agent integration (Cursor, Windsurf), và tinh chỉnh tiếp agentic search + reranking.

Điểm đáng để ý: benchmark công khai của Mixedbread là tín hiệu đầu tiên cho thấy một thế hệ "retrieval layer cho agent" sẽ là hạ tầng mặc định, không còn là tuỳ chọn. Nếu bạn đang xây dựng workflow quanh Claude Code hoặc Codex, thêm mgrep vào pipeline là một thí nghiệm rẻ và có upside đo đếm được.

Nguồn: GitHub mixedbread-ai/mgrep, mgrep.dev, Jimmy Song review.