TL;DR

Microsoft mở mã AI Engineer Coach, một extension VS Code đọc log phiên AI lưu sẵn trên máy rồi biến thành dashboard cá nhân về cách bạn dùng AI để code. Toàn bộ phân tích chạy cục bộ, zero telemetry, log gốc không bị sửa.

Repo dán nhãn "open-source community effort by Microsoft employees" - không phải sản phẩm Microsoft chính thức, license MIT. Chưa lên marketplace, bạn tự build file .vsix từ source (npm hoặc Dev Container) rồi install bằng code --install-extension.

Điểm khác biệt với các tool observability LLM thông thường: không cần SDK instrument, không proxy, không trace runtime - chỉ đọc dump session log của 6 harness đã có sẵn trên máy (GitHub Copilot, Claude CLI, Codex, OpenCode, Copilot for Xcode, Copilot CLI).

AI Engineer Coach dashboard hero
AI Engineer Coach - dashboard phân tích phiên AI ngay trong VS Code.

Vấn đề mà nó giải quyết

Khi bạn đã dùng AI để code đều đặn, các câu hỏi vẫn không có lời đáp rõ ràng: tuần này bạn xài Claude hay GPT nhiều hơn, prompt nào lặp lại tới mức nên gom thành skill, model nào ngốn token mà sản phẩm ra không tương xứng, anti-pattern nào bạn đang lặp lại mỗi ngày. Tool observability cho LLM trên thị trường (Langfuse, Helicone, ...) hướng tới team production, đòi instrument code hoặc proxy - không phù hợp để tự audit thói quen cá nhân.

AI Engineer Coach chọn cách ngược lại: read-only với log đã có sẵn. Mỗi harness CLI hay extension đều ghi session ra disk - extension parse chính các file đó, không cần thay đổi gì trong setup hiện tại. Toàn bộ dữ liệu đi vào một dashboard duy nhất với chấm điểm, biểu đồ và gợi ý cải thiện.

Cách nó hoạt động bên trong

Stack: TypeScript 6.0.3 strict mode, Node >=20 (CI dùng Node 22), VS Code engine ^1.120.0, bundler esbuild, test bằng vitest và Playwright. Heavy work tách ra ba worker thread để extension host không bị treo:

  • parse-worker.ts đọc logsDirs, emit progress và kết quả.
  • warm-up-worker.ts nhận sessions, sinh ra antiPatterns và configHealth.
  • cache-write-worker.ts ghi payload cache xuống disk.

Bề mặt extensibility chính là rule và metric - file markdown có YAML front matter và một DSL nhỏ, không cần code TypeScript. Built-in có 45+ rule ở src/core/rules/ và một loạt metric ở src/core/metrics/. Rule chạy qua trust layer ba lớp: built-in, personal, project, với flow pending - review - approve - reload. Mỗi lần bạn sửa rule, trust bị revoke và phải approve lại.

Timeline Gantt-style của các phiên AI
Timeline Gantt-style với drill-down theo ngày và detect phiên overlap.

Năm trục chức năng chính

Dashboard chia làm bốn nhóm trang: Observe, Measure, Improve, Level Up. Quy về năm trục giá trị:

  • Track progress. Practice score với so sánh tuần-trên-tuần, biểu đồ activity theo ngày, top workspace.
  • Detect anti-pattern. 45 rule trải đều 5 nhóm: prompt quality, session hygiene, code review, tool mastery, context management. Mỗi rule có severity, action cụ thể và prompt mẫu.
  • Measure output. Code volume sinh ra theo language, workspace, model, harness (Output page; phần token breakdown tạm ẩn).
  • Discover skill. Skill Finder phát hiện prompt lặp lại trong lịch sử và đối chiếu với catalog skill open-source.
  • Score context health. Context Health đánh giá agentic readiness, audit instruction file (kiểu CLAUDE.md, AGENTS.md), vẽ workspace context map.
Anti-Patterns 5 thẻ practice score
Anti-Patterns - 5 thẻ practice score kèm severity, action và ví dụ prompt.

Ngoài ra còn có Rule Editor (sửa rule visual hoặc raw markdown, live-test trên data của bạn), Rule Playground (REPL cho DSL với field browser, function catalog, metric list), Data Explorer (browse session field, distribution, ad-hoc filter), Coding Moments (gallery screenshot từ phiên AI với story reel), Patterns (heatmap 7x24 work-life balance). Phần Level Up có Learning Center sinh quiz và code-comparison round từ usage thật, Achievements XP-based với tier Bronze - Silver - Gold - Diamond, Agentic SDLC, Share.

Skill Finder - phát hiện prompt lặp lại
Skill Finder gợi ý chuyển prompt lặp thành skill có thể tái dùng.

Các harness được hỗ trợ

Extension parse log local của 6 harness:

  • Local Agent (VS Code + Insiders) - parse chat log của GitHub Copilot trong workspaceStorage/. Bắt được request, response, model (ví dụ claude-opus-4.6, gpt-5.4, auto), tool call, slash command, file context, terminal command, turn structure.
  • Claude - session file của Anthropic Claude CLI.
  • Codex - session history của terminal agent OpenAI Codex.
  • OpenCode - terminal tool open-source multi-LLM.
  • GitHub Copilot for Xcode - SQLite database trong thư mục config Copilot trên macOS.
  • GitHub Copilot CLI - session state + history, kèm token metric per-model lúc shutdown.

Khi bạn dùng VS Code qua Remote-WSL, Remote-SSH hay Dev Container, log nằm trên remote host (~/.vscode-server/data/User/workspaceStorage/) và hiển thị nhãn Local Agent (Server).

Output page - code volume theo language và model
Output page - code volume sinh ra chia theo language và model.

Cài đặt nhanh

Repo chưa publish lên marketplace, bạn cần build .vsix tay. Có hai đường:

Dev Container (không cần Node local): mở repo trong VS Code, "Reopen in Container", chạy npm ci && npm run package. Container có sẵn Node và npm.

Build local: cần Node và npm cài sẵn:

git clone https://github.com/microsoft/ai-engineering-coach.git
cd ai-engineering-coach
npm ci
npm run package
code --install-extension ai-engineer-coach-*.vsix

Nếu CLI không hoạt động, dùng UI Ctrl+Shift+P -> Install from VSIX. Sau khi cài, mở Command Palette và chạy AI Engineer Coach: Open Dashboard. Dashboard mở dưới dạng webview, bạn filter theo workspace hoặc harness ở panel góc trái dưới.

Một đường khác: chạy dưới dạng canvas trong GitHub Copilot app. Clone repo, mở như project trong Copilot app, chạy npm install && npm run build. Canvas có cùng webview bundle nhưng ẩn bớt Skill Finder, Learning Center, Level Up và Context Health AI review vì các tính năng đó phụ thuộc vào local language model API của VS Code.

Context Health - agentic readiness
Context Health - chấm điểm context, agentic readiness checklist và workspace context map.

Hạn chế và lưu ý

  • Không phải sản phẩm Microsoft chính thức. Repo dán "open-source community effort", provided as-is, không có warranty hay support channel chính thức.
  • Một số trang đang tạm tắt. Output token breakdown bị ẩn, Burndown (theo dõi monthly AI token budget) "temporarily disabled".
  • Tính năng AI yêu cầu Copilot. Skill Finder, Learning Center, Context Health AI review dùng VS Code built-in Copilot Language Model API - cần VS Code có Copilot active.
  • Canvas mode bị thu nhỏ. Khi chạy trong Copilot app, các tính năng AI không hoạt động vì không có local LLM API.
  • Phải tự build. Chưa có file .vsix sẵn ở Releases - mọi cập nhật bạn phải pull repo và package lại.

Khi nào nên dùng

Nếu bạn đang dùng nhiều hơn một AI coding tool và muốn nhìn lại quy luật sử dụng - tuần nào tốn token, harness nào hiệu quả, prompt nào nên gom thành skill - đây là một dashboard private, local, free để bắt đầu. Đặc biệt phù hợp với người đã có một mớ instruction file (CLAUDE.md, AGENTS.md, .cursor/rules, ...) và muốn audit xem chúng có thật sự nâng được "agentic readiness" hay không.

Còn nếu mục tiêu là theo dõi production LLM hoặc share dashboard cho cả team, đây không phải nơi - tool hướng tới practice cá nhân, không có concept multi-user hay backend sync. Bù lại, dữ liệu không bao giờ rời máy của bạn, không có account, không có telemetry - dán nhãn read-only với mọi log gốc.

via microsoft/ai-engineering-coach