Docs

Bài Kiểm Tra Kiến Trúc

Thời lượng: 90 phút

Bối cảnh: Bạn đang thiết kế một Enterprise Knowledge Copilot hỗ trợ review kiến trúc. Hệ thống phải trả lời có citation từ tài liệu nội bộ, hỗ trợ tool call đã được phê duyệt, trace toàn bộ interaction và tạo production readiness summary.

Phần 1: Layering

1. Vẽ sáu lớp chính của hệ thống và nêu trách nhiệm của từng lớp.
2. Giải thích vì sao model runtime không nên sở hữu retrieval policy.
3. Giải thích vì sao agent/workflow layer không nên sở hữu long-term experiment lineage.

Phần 2: Quyết Định Runtime

Bạn có ba lựa chọn serving: hosted API, vLLM và llama.cpp.

1. Tạo decision matrix với ít nhất sáu tiêu chí.
2. Chọn một runtime cho bản production đầu tiên và giải thích.
3. Định nghĩa metric nào sẽ buộc team đổi runtime.

Phần 3: RAG Data Contract

1. Định nghĩa các field bắt buộc cho document, chunk, metadata và query.
2. Giải thích access control nên được enforce ở đâu.
3. Định nghĩa retrieval evaluation plan.

Phần 4: LLMOps Và Evaluation

1. Định nghĩa trace schema.
2. Định nghĩa promotion gate cho prompt, retrieval và model change.
3. Giải thích lineage kiểu MLflow khác gì observability trace của LLM.

Phần 5: Security Và Governance

1. Chỉ ra năm rủi ro bảo mật riêng của copilot này.
2. Định nghĩa tool governance policy.
3. Định nghĩa những gì phải log để audit được.

Phần 6: Production Readiness

1. Tạo release checklist.
2. Định nghĩa rollback behavior.
3. Định nghĩa ba kịch bản failure rehearsal.

Rubric