Thẻ

#quantization

2 bài viết

Tech29 thg 5, 20266 phút đọc

16 con số để chạy mô hình ngàn tỉ tham số

FP4, định dạng số thực 4-bit với đúng 16 giá trị, đang là chuẩn mặc định để chạy các mô hình ngôn ngữ lớn trên GPU Blackwell của NVIDIA.

#machine-learning#floating-point#nvidia

Tech17 thg 3, 20265 phút đọc

BitNet: Kỷ nguyên LLM 1-bit Cuối cùng đã Bắt đầu

Khám phá bitnet.cpp, framework chính thức của Microsoft dành cho các LLM 1-bit, giúp thay thế phép nhân bằng phép cộng để tăng tốc độ xử lý vượt trội.

#Tech#GitHub#AI