Chế 22 GB VRAM cho RTX 2080 Ti, phục vụ thị trường nghiên cứu AI, giá 499 USD

Đó là những diễn biến mới trên thị trường tự do. Khi những GPU dành riêng cho nhu cầu nghiên cứu mô hình hay vận hành AI đang khan hiếm, thì nhiều bên đã bắt đầu tìm tới nguồn GPU tiêu dùng. Một vấn đề của GPU chơi game khi đem qua dùng vận hành AI, là card AMD thì không thiếu VRAM, nhưng thuật toán được viết để tận dụng tối ưu API CUDA của card Nvidia chứ không phải ROCm. Còn card đồ họa gaming Nvidia thì luôn gặp vấn đề với việc thiếu hụt VRAM, chỉ lên tới những giải pháp trang bị 16 hay 24GB như RTX 4080 và 4090 thì mới tạm đủ.

Vậy là thị trường GPU đã qua sử dụng bắt đầu có những bên độ chế lại những card đồ họa thế hệ cũ, hàn thêm hoặc đổi hẳn chip VRAM để đủ bộ nhớ vận hành những mô hình ngôn ngữ hay thuật toán deep learning. Chẳng hạn như trên eBay, vừa có người phát hiện ra những cửa hàng bán RTX 2080 Ti với giá lên tới 499 USD, nhưng đi kèm với đó là 22GB VRAM. Bộ nhớ dung lượng lớn này được dùng làm bộ nhớ đệm cho những gói dữ liệu khổng lồ, những mô hình phức tạp, hay những phép tính số thực dấu phẩy động cần thiết để những thuật toán AI vận hành.

Đấy cũng chính là lý do nếu làm hình bằng những model dựa trên Stable Diffusion, anh em sẽ thấy những mẫu card đồ họa với 16GB VRAM trở lên luôn chạy ở tốc độ ưng ý, chứ không chỉ liên quan tới sức mạnh tính toán của con chip GPU.

Lấy một ví dụ, RTX 2080 Ti 22GB VRAM chỉ mất có 5.4 giây để tạo ra một bức hình độ phân giải 512x768 pixel với Stable Diffusion, mô tả lợi thế của bộ nhớ dung lượng lớn.