Hướng dẫn bắt đầu sử dụng LM Studio

[Saviba]

Tổng quan​

Hãy tải xuống và chạy các mô hình ngôn ngữ lớn như Qwen, Mistral, Gemma hoặc gpt-oss trong LM Studio!

LM Studio là gì?​

LM Studio là một nền tảng AI cục bộ được xây dựng để giúp các mô hình ngôn ngữ lớn (LLM) trở nên dễ tiếp cận, riêng tư và dễ vận hành mà không cần cơ sở hạ tầng đám mây. Khi nhu cầu về công cụ AI tiếp tục tăng lên, nhiều người dùng - từ các nhà phát triển đến những nhà nghiên cứu và các chuyên gia quan tâm đến quyền riêng tư - đang tìm kiếm những giải pháp tránh được sự phức tạp của các API từ xa, chi phí định kỳ và...
LM Studio giải quyết vấn đề này bằng cách tích hợp giao diện thân thiện với người dùng, khả năng tương thích mô hình rộng rãi và chức năng ngoại tuyến vào một môi trường desktop khép kín.

Yêu cầu hệ thống​

Các loại CPU, GPU được hỗ trợ cho LM Studio trên Mac (M1/M2/M3/M4), Windows (x64/ARM) và Linux (x64/ARM64)

macOS​

• Chip: Apple Silicon (M1/M2/M3/M4).
• Yêu cầu macOS 14.0 trở lên.
• Khuyến nghị RAM 16GB trở lên. Bạn vẫn có thể sử dụng LM Studio trên máy Mac 8GB, nhưng nên chọn các mẫu nhỏ hơn và kích thước ngữ cảnh vừa phải.
• Hiện tại, máy Mac dựa trên Intel không được hỗ trợ.

Windows​

LM Studio được hỗ trợ trên cả hệ thống dựa trên x64 và ARM (Snapdragon X Elite).

• CPU: Yêu cầu hỗ trợ bộ lệnh AVX2 (đối với x64)
• RAM: LLM có thể tiêu thụ nhiều RAM. Khuyến nghị ít nhất 16GB RAM.
• GPU: Khuyến nghị ít nhất 4GB VRAM chuyên dụng.

Linux​

LM Studio được hỗ trợ trên cả hệ thống 64 bit (x64) và 64 bit (ARM64/aarch64).

• LM Studio cho Linux được phân phối dưới dạng AppImage.
• Yêu cầu Ubuntu 20.04 trở lên.
• Các phiên bản Ubuntu mới hơn 22 chưa được kiểm tra kỹ lưỡng.
• CPU: Trên x64, LM Studio hỗ trợ AVX2 theo mặc định.

Bắt đầu sử dụng LM Studio​

Sau khi cài đặt xong, bạn cần tải xuống LLM đầu tiên.

1. Tải một LLM về máy tính của bạn​

Hãy chuyển đến tab Discover để tải xuống các mô hình. Chọn một trong các tùy chọn được tuyển chọn hoặc tìm kiếm mô hình bằng truy vấn tìm kiếm (ví dụ: "Llama").

2. Load mô hình vào bộ nhớ​

Hãy chuyển đến tab Chat và:

• Mở trình load mô hình
• Chọn một trong các mô hình bạn đã tải xuống (hoặc sideload).
• Tùy chọn, chọn load các tham số cấu hình.

Load mô hình nghĩa là gì?
Load mô hình thường có nghĩa là cấp phát bộ nhớ để có thể chứa trọng số và các tham số khác của mô hình trong RAM của máy tính.

3. Trò chuyện!​