MLOps

An agent you cannot evaluate is an agent you cannot change. This post covers why agent evals differ from model evals, the pass^k arithmetic that explains why 'works most of the time' is not enough, how to build a task set from real failures, deterministic versus judge-based grading, and a small eval runner you can put in CI this week.

Agent không đánh giá được là agent không sửa được. Bài này nói vì sao eval cho agent khác eval cho model, phép tính pass^k giải thích vì sao 'chạy đúng phần lớn thời gian' là chưa đủ, cách xây bộ task từ lỗi thật, chấm điểm tất định so với dùng judge, và một eval runner nhỏ bạn có thể đưa vào CI ngay tuần này.

Comprehensive guide to LLM fine-tuning techniques, comparing LoRA (Low-Rank Adaptation) with full fine-tuning, including performance metrics and cost analysis.