Ollama API Dokümantasyonu: Uncensored API Karşılaştırması
Bu kılavuz, yerel Ollama dağıtımlarını barındırılan, uncensored bir OpenAI uyumlu API ile karşılaştırarak doğru altyapıyı seçmenize yardımcı olur. CUDA sürücüleri, Docker aşırı yükü ve token faturalandırma teknik ödünlerini inceleriz, böylece kendi GPU'nuzu yönetip yönetmeyeceğinize veya ön ödemeli bir API anahtarı kullanıp kullanmayacağınıza karar verebilirsiniz.
Son güncelleme
Neden Çıkarılmış Bir API Seçmelisiniz?
Uncensored API'ler, yasal yetişkin, kurgusal veya tartışmalı konularda reddetme yapmayan modellere doğrudan erişim sağlar. Bu yaklaşım, model-spesifik bağımlılıkları yönetmek veya hizalama katmanlarını kendiniz ince ayar yapmak ihtiyacını ortadan kaldırır.
Sunucu tarafımızda barındırılan hizmet, minimal reddiye için optimize edilmiş bir açık ağırlıklı model sunar. İçerik filtrelerinin iş akışınızı engellemesinden endişelenmeden standart metin girdisi gönderir ve metin çıktısı alırsınız. API, modern geliştirici yığınlarıyla uyumluluk sağlamak için SSE üzerinden akış, fonksiyon çağırma ve JSON modunu destekler.
Yerel kurulumlardan farklı olarak, GPU sıcaklığını izlemeniz veya sürücü güncellemelerini yönetmeniz gerekmez. Altyapı otomatik olarak ölçeklenir, böylece sunucunuzu yönetmek yerine uygulamanızı geliştirmeye odaklanabilirsiniz.
Yerel Ollama vs Barındırılan API: Feda Edilecekler
Yerel dağıtım tam veri gizliliği ve WAN üzerinden sıfır gecikme sunar ancak önemli donanım yönetimi gerektirir. CUDA sürücülerini, Docker konteynerlerini ve OLLAMA_HOST gibi ortam değişkenlerini yapılandırmanız gerekir.
Barındırılan API'ler donanımı soyutlar. Büyük bulut sağlayıcılarıyla yapacağınız gibi bir temel URL ve API anahtarı kullanarak bağlanırsınız. Bu, NVIDIA Container Toolkit'e veya yerel model dosyalarının yönetimine olan ihtiyacı ortadan kaldırır.
Bedel, maliyet ile kolaylık arasındaki dengeyledir. Yerel çalıştırmalar donanım satın alındıktan sonra ücretsizken, barındırılan API'ler token başı ücretlendirme yapar. Aralıklı kullanım veya hızlı prototipleme için barındırılan yol genellikle daha hızlı dağıtılır.
Maliyet Karşılaştırması: GPU Donanımı vs. Token Başına Faturalandırma
Yerel çıkarım maliyetleri sabittir: GPU'yu bir kez satın alırsınız. Barındırılan faturalandırma kullanımla ölçeklenir. Modelimiz girdi tokenlarının her 1M başına $0.15 ve çıktı tokenlarının her 1M başına $0.50 ücretlendirir. Bu ön ödeme modeli, hataların ve reddedilen isteklerin ücretsiz olduğu anlamına gelir, bu nedenle yalnızca gerçek sonuçlar için ödeme yaparsınız.
Yüksek hacimli üretim için yerel donanım genellikle fiyatta öne geçer. Dağınık geliştirme veya küçük ekipler için peşin ödeme token faturalandırması, boşa çalışan GPU kaynaklarının yükünden kaçınmanızı sağlar. Kripto ile başlangıç $20 ile yükleme yapabilir, daha büyük yatırımlar için bonus kredi alabilirsiniz.
Aylık abonelik sizi bağlamaz. Kredi süresi dolmaz, bu da fonları kaybetmeden kullanımı durdurmanıza olanak tanır.
Performans: Docker, CUDA ve Yerel Kısıtlamalar
Yerel performans, CUDA sürümünüze ve donanım neslinize büyük ölçüde bağlıdır. Ollama CUDA 5.0+ destekler, ancak modern modeller Ampere mimarisi veya daha yenisi üzerinde en iyi performansı gösterir. Örneğin VLLM, Volta veya daha yeni bir mimari gerektirir.
Docker hafif bir ek yük ekler ancak bağımlılık yönetimini basitleştirir. Ollama'yi Open Webgui ile minimum eforla kurmak için Coolify gibi araçları kullanabilirsiniz. Ancak, harici erişim için genellikle 0.0.0.0 olarak ayarlanması gereken OLLAMA_HOST değişkeninin doğru şekilde ayarlandığından emin olmalısınız.
Barındırılan API'ler, yerel makinenizden bağımsız olarak tutarlı performans sunar. Bu, gerçek zamanlı uygulamalar için öngörülebilir gecikme süresi gerektiğinde kritiktir.
Karar Tablosu: Yerel Ollama vs. Bu API
| Özellik | Yerel Ollama | Barındırılan Filtrelenmemiş API |
|---|---|---|
| Kurulum Karmaşıklığı | Yüksek (CUDA, Docker, Yapılandırma) | Düşük (API Anahtarı + Temel URL) |
| Maliyet Modeli | Donanım CapEx | Ön ödemeli Jeton Kullanımı |
| Gizlilik | Tam Kontrol | İstemler Eğitim İçin Kullanılmaz |
| Bağlam Penceresi | VRAM'e bağlı | 100.000 Token |
| Güncellemeler | Manuel | Otomatik |
Teknik Kısıtlamalar: Bağlam Penceresi ve Sınırlar
Yerel modeller GPU VRAM'inizle sınırlıdır. Bir 7B model sığabilir ancak daha büyük modeller CPU'ya takas eder ve çıkarımı önemli ölçüde yavaşlatır. API'miz, yerel donanım sınırlamaları olmadan büyük belgeleri işlemenizi sağlayan 100,000 token'lık bir bağlam penceresi destekler.
API, istek başına maksimum 16.000 token çıktı sınırı uygular. max_tokens ayarlanmazsa varsayılan değer 2.048 token'dır. Bu, öngörülebilir faturalandırma ve kaynak tahsisi sağlar.
Hız sınırları anahtar başına dakikada 300 istek olarak ayarlanmıştır. Bu, çoğu geliştirme ve orta ölçekli üretim iş yükü için yeterlidir. Hesap başına tek bir aktif anahtar kullanabilirsiniz, gerekirse yenileyebilirsiniz.
Faturalandırma Şeffaflığı: Ön Ödemeli vs. Abonelik
Abonelik modelleri genellikle boşta kalma süresi için ücret alır. Ön ödemeli token faturalandırması, yalnızca kullandığınız şey için ücret alır. Krediniz hiç süresi dolmaz, bu yüzden bir kez yükleyip kredinizi aylar veya yıllar boyunca kullanabilirsiniz.
Ödemeler yalnızca kripto para birimleriyle yapılır: USDT (TRC20) veya USDC (Base). $20 ile $500 arasında herhangi bir tam tutar yatırabilirsiniz. Bonus kredi otomatik olarak eklenir: $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15.
Yeni hesaplar, 7 gün boyunca geçerli $0.50 deneme kredisi alır. Çift ücretlendirme gibi hatalar Destek sayfası aracılığıyla düzeltilir, ancak kredi kendisi iade edilmez.
SSS: Yaygın Ollama API Soruları
Uncensored modeli nasıl kullanırım? Temel URL'mize model kimliği "uncensored" ile istek gönderin. Sıcaklık, top_p ve stop gibi standart OpenAI SDK parametrelerini kabul eder. Model yasal yetişkin veya tartışmalı konuları reddetmez.
Bu, resmi Ollama API'si mi? Hayır. Bağımsız bir hizmet sunuyoruz. Ollama, modelleri yerel olarak çalıştırmak için bir araçtır. Açık ağırlıklı farklı bir modelimizi OpenAI uyumlu bir uç nokta aracılığıyla barındırıyoruz.
Kredim biterse ne olur? Yükleme yapmadan önce istekler başarısız olur. Mevcut kredinizi istediğiniz zaman kripto aracılığıyla ekleyebilirsiniz. Mevcut kredinizin süresi dolmaz.
Promptlarımı eğitim için kullanıyor musunuz? Hayır. Eğitim amacıyla istemlerinizi kullanmıyoruz. Verileriniz gizlidir.
Sık sorulan sorular
Uncensored API için context window nedir?
API, hem istem hem de tamamlama için birlikte 100.000 token'lık bir bağlam penceresi destekler. Bu, yerel VRAM kısıtlamaları olmadan büyük belgeleri işlemenize olanak tanır. Maksimum çıktı isteğe bağlı olarak 16.000 token'dır.
API için nasıl ödeme yaparım?
Ödemeler yalnızca kripto para ile yapılır (TRC20 üzerinde USDT veya Base üzerinde USDC). $20 ile $500 arasında herhangi bir tam miktar yatırabilirsiniz. Bonus kredi, yatırılan tutara göre eklenir ve $200+ yatırımlar için %15'e kadar bonus sağlanır.
Mevcut OpenAI SDK kodumu kullanabilir miyim?
Evet. API, OpenAI ile uyumludur. base_url'yi HTTPS://api.ollamaapidocs.com/v1 olarak değiştirmeniz ve API anahtarınızı güncellemeniz yeterlidir. Sıcaklık (temperature) ve top_p gibi standart parametreler desteklenir.
Hız limitleri nelerdir?
Dakikada 300 isteğe ve anahtar başına eşzamanlı istekler 8 ile sınırlıdır. İstek gövdesi boyutu 8 MB ile sınırlandırılmıştır. Bu limitler, çoğu geliştirme ve orta ölçekli üretim iş yükleri için yeterlidir.
API anahtarınızı oluşturun
Kaydolun, anahtarınızı kopyalayın ve temel URL'yi güncelleyin. Başlamak için yapmanız gereken tek şey bu.
