Ghi chép Inference EngineeringTừ một token tới hệ thống serving thực tế

Ghi chép khoá Inference Engineering của fanout.sh. Mọi con số đã được kiểm lại, mọi hình đã được vẽ lại.

Bắt đầu từ bài 01

Bộ ôn phỏng vấn

61 bài học

Vật lý của tốc độ, bộ nhớ KV, continuous batching, PagedAttention, prefix caching, lượng tử hoá và profiling GPU.

Bộ câu hỏi phỏng vấn

Bảy bộ theo chủ đề, mỗi thẻ gồm câu hỏi, câu trả lời trong 60 giây, các con số chính và cái bẫy hay gặp.

Bản tiếng Việt đầy đủ

Cả 61 bài và 7 bộ ôn đều đã dịch. Thuật ngữ kỹ thuật giữ tiếng Anh, chữ trong hình vẫn là bản gốc.

Giới thiệu

Đây là ghi chép cá nhân, không chính thức, không liên kết với fanout.sh. Ghi chép chỉ tóm tắt chứ không thay thế khoá học. Bản gốc tiếng Anh: S1LV3RJ1NX/inference-engineering-notes.