- Rating
- 7.9/10
Mô hình chạy cục bộ không gửi dữ liệu đi đâu, nên hợp với tài liệu nội bộ hoặc thông tin cá nhân. Đây là lý do chính khiến nhiều nơi chọn hướng này dù biết chất lượng thấp hơn.
Được gì và mất gì
Cái giá là phần cứng. Một mô hình cỡ vừa cần khoảng 8–16GB bộ nhớ đồ hoạ để chạy mượt; dưới ngưỡng đó tốc độ trả lời rơi xuống mức khó dùng cho công việc thật.
Cách dùng thực tế nhất hiện nay là chia việc: mô hình cục bộ lo phân loại, tóm tắt và trích xuất; những tác vụ cần suy luận dài vẫn đẩy lên dịch vụ ngoài.
