Tài liệu Ollama API: So sánh API không kiểm duyệt

Tại sao chọn một API không kiểm duyệt?

Các API không kiểm duyệt cung cấp quyền truy cập trực tiếp vào các mô hình không từ chối các chủ đề người lớn hợp pháp, hư cấu hoặc gây tranh cãi. Cách tiếp cận này loại bỏ nhu cầu quản lý các phụ thuộc cụ thể của mô hình hoặc tinh chỉnh các lớp căn chỉnh chính mình.

Dịch vụ được lưu trữ của chúng tôi cung cấp một mô hình trọng lượng mở được tối ưu hóa để từ chối tối thiểu. Bạn gửi đầu vào văn bản chuẩn và nhận đầu ra văn bản mà không phải lo lắng về các bộ lọc nội dung chặn quy trình làm việc của bạn. API hỗ trợ phát trực tiếp qua SSE, gọi hàm và chế độ JSON, đảm bảo tương thích với các bộ công cụ nhà phát triển hiện đại.

Khác với các triển khai cục bộ, bạn không cần theo dõi nhiệt độ GPU hoặc xử lý các bản cập nhật trình điều khiển. Cơ sở hạ tầng tự động mở rộng, cho phép bạn tập trung vào việc xây dựng ứng dụng của mình thay vì duy trì máy chủ của mình.

Ollama cục bộ so với API được lưu trữ: Sự đánh đổi

Triển khai cục bộ cung cấp quyền riêng tư dữ liệu đầy đủ và độ trễ bằng không qua WAN, nhưng yêu cầu quản lý phần cứng đáng kể. Bạn phải cấu hình trình điều khiển CUDA, container Docker và các biến môi trường như OLLAMA_HOST.

API được lưu trữ ẩn đi phần cứng. Bạn kết nối bằng URL cơ sở và khóa API, giống như bạn sẽ làm với các nhà cung cấp đám mây lớn. Điều này loại bỏ nhu cầu về NVIDIA Container Toolkit hoặc quản lý các tệp mô hình cục bộ.

Sự đánh đổi là chi phí so với sự tiện lợi. Các phiên bản cục bộ miễn phí sau khi mua phần cứng, trong khi các API lưu trữ tính phí theo token. Đối với việc sử dụng thỉnh thoảng hoặc thử nghiệm nhanh, đường hướng lưu trữ thường nhanh hơn để triển khai.

So sánh chi phí: Phần cứng GPU so với thanh toán theo token

Chi phí suy luận cục bộ là cố định: bạn mua GPU một lần. Hóa đơn lưu trữ theo mức sử dụng. Mô hình của chúng tôi tính $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra. Mô hình trả trước này có nghĩa là các lỗi và từ chối đều miễn phí, vì vậy bạn chỉ trả tiền cho kết quả thực tế.

Đối với sản xuất khối lượng lớn, phần cứng cục bộ thường thắng về giá. Đối với phát triển không thường xuyên hoặc các nhóm nhỏ, việc thanh toán token theo gói trả trước tránh được chi phí của các tài nguyên GPU nhàn rỗi. Bạn có thể nạp tiền bằng tiền điện tử bắt đầu từ $20, với tín dụng bổ sung có sẵn cho các khoản gửi lớn hơn.

Không có phí đăng ký hàng tháng khóa bạn lại. Tín dụng không bao giờ hết hạn, cho phép bạn tạm dừng sử dụng mà không mất tiền.

Hiệu suất: Docker, CUDA và Các Hạn chế Cục bộ

Hiệu suất cục bộ phụ thuộc rất nhiều vào phiên bản CUDA và thế hệ phần cứng của bạn. Ollama hỗ trợ CUDA 5.0+, nhưng các mô hình hiện đại hoạt động tốt nhất trên kiến trúc Ampere trở lên. VLLM, ví dụ, yêu cầu Volta hoặc mới hơn.

Docker thêm một chút overhead nhưng đơn giản hóa việc quản lý dependency. Bạn có thể sử dụng các công cụ như Coolify để thiết lập Ollama với Open Webgui với nỗ lực tối thiểu. Tuy nhiên, bạn phải đảm bảo biến OLLAMA_HOST được đặt chính xác, thường là 0.0.0.0 để truy cập từ bên ngoài.

API được lưu trữ cung cấp hiệu suất nhất quán bất kể máy cục bộ của bạn. Điều này rất quan trọng khi bạn cần độ trễ có thể dự đoán được cho các ứng dụng thời gian thực.

Bảng Quyết định: Ollama Cục bộ so với API này

Tính năng	Ollama cục bộ	API Không kiểm duyệt được lưu trữ
Độ phức tạp khi thiết lập	Cao (CUDA, Docker, Cấu hình)	Thấp (Khóa API + URL cơ sở)
Mô hình chi phí	Chi phí vốn phần cứng (Hardware CapEx)	Sử dụng token trả trước
Quyền riêng tư	Kiểm soát đầy đủ	Prompt Không Được Dùng Để Huấn Luyện
Cửa sổ ngữ cảnh	Phụ thuộc vào VRAM	100.000 token
Cập nhật	Thủ công	Tự động

Ràng buộc kỹ thuật: Cửa sổ ngữ cảnh và giới hạn

Các mô hình cục bộ bị giới hạn bởi VRAM GPU của bạn. Một mô hình 7B có thể vừa khít, nhưng các mô hình lớn hơn sẽ chuyển sang CPU, làm chậm đáng kể quá trình suy luận. API của chúng tôi hỗ trợ cửa sổ ngữ cảnh 100,000 token, cho phép bạn xử lý các tài liệu lớn mà không bị giới hạn bởi phần cứng cục bộ.

API giới hạn tối đa 16.000 token cho mỗi yêu cầu. Nếu bạn không đặt max_tokens, mặc định là 2.048 token. Điều này đảm bảo việc tính phí và phân bổ tài nguyên có thể dự đoán được.

Giới hạn tốc độ được đặt ở mức 300 yêu cầu mỗi phút mỗi khóa. Điều này đủ cho hầu hết các tác vụ phát triển và tải trọng sản xuất vừa phải. Bạn có thể sử dụng một khóa hoạt động mỗi tài khoản, thay thế nó nếu cần.

Minh bạch Hóa đơn: Trả trước so với Đăng ký

Các gói đăng ký thường tính phí cho thời gian nhàn rỗi. Thanh toán token trả trước chỉ tính phí cho những gì bạn sử dụng. Tín dụng của chúng tôi không bao giờ hết hạn, vì vậy bạn có thể nạp tiền một lần và sử dụng nó trong nhiều tháng hoặc nhiều năm.

Thanh toán chỉ bằng tiền điện tử: USDT (TRC20) hoặc USDC (Base). Bạn có thể nạp bất kỳ số nguyên nào từ $20 đến $500. Tín dụng bonus được thêm tự động: +5% từ $50, +10% từ $100, và +15% từ $200.

Tài khoản mới nhận $0.50 tín dụng dùng thử có hiệu lực trong 7 ngày. Lỗi như tính phí kép được sửa qua trang Hỗ trợ, nhưng tín dụng thì không thể hoàn lại.

FAQ: Các câu hỏi phổ biến về API Ollama

Làm thế nào để sử dụng mô hình không kiểm duyệt? Gửi yêu cầu đến URL cơ sở của chúng tôi với id mô hình "uncensored". Nó chấp nhận các tham số SDK OpenAI tiêu chuẩn như temperature, top_p, và stop. Mô hình không từ chối các chủ đề người lớn hợp pháp hoặc gây tranh cãi.

Đây có phải là API Ollama chính thức không? Không. Chúng tôi là một dịch vụ độc lập. Ollama là một công cụ để chạy các mô hình cục bộ. Chúng tôi lưu trữ một mô hình trọng lượng mở khác thông qua một điểm cuối tương thích với OpenAI.

Điều gì xảy ra nếu hết hạn mức tín dụng? Yêu cầu sẽ thất bại cho đến khi bạn nạp tiền. Bạn có thể thêm tín dụng qua tiền điện tử bất cứ lúc nào. Tín dụng hiện có của bạn không hết hạn.

Bạn có sử dụng các prompt của tôi để huấn luyện không? Không. Chúng tôi không sử dụng prompt của bạn để huấn luyện. Dữ liệu của bạn vẫn riêng tư.