API Ollama Docs: Порівняння необмежених API

Чому варто обрати API без фільтрів?

Нецензуровані API надають прямий доступ до моделей, які не відхиляють законні дорослі, художні або суперечливі теми. Цей підхід усуває необхідність керувати залежностями, специфічними для моделі, або налаштовувати шари вирівнювання самостійно.

Наш хостований сервіс надає модель з відкритими вагами, оптимізовану для мінімізації відмов. Ви надсилаєте стандартний текстовий вхід і отримуєте текстовий вихід, не турбуючись про фільтри контенту, які блокують ваш робочий процес. API підтримує потокову передачу через SSE, виклик функцій та режим JSON, забезпечуючи сумісність із сучасними стеками розробників.

На відміну від локальних розгортань, вам не потрібно моніторити температуру GPU або обробляти оновлення драйверів. Інфраструктура масштабується автоматично, дозволяючи вам зосередитися на створенні вашої програми, а не на обслуговуванні сервера.

Локальний Ollama проти Хостованого API: Компроміс

Локальне розгортання пропонує повну конфіденційність даних та нульову затримку через WAN, але вимагає значного керування апаратним забезпеченням. Вам потрібно налаштувати драйвери CUDA, Docker-контейнери та змінні середовища, такі як OLLAMA_HOST.

Хостовані API абстрагують апаратне забезпечення. Ви підключаєтеся, використовуючи базову URL-адресу та API-ключ, так само, як і з великими хмарними постачальниками. Це усуває необхідність у NVIDIA Container Toolkit або управлінні локальними файлами моделей.

Компроміс — це витрати проти зручності. Локальні запуски безкоштовні після придбання обладнання, тоді як хмарні API нараховують оплату за токен. Для епізодичного використання або швидкого прототипування хмарний шлях часто швидший у розгортанні.

Порівняння витрат: Апаратне забезпечення GPU проти оплати за токени

Витрати на локальний інференс фіксовані: ви купуєте GPU один раз. Хостований облік масштабується залежно від використання. Наша модель коштує $0.15 за 1M вхідних токенів та $0.50 за 1M вихідних токенів. Ця передоплачена модель означає, що помилки та відмови є безкоштовними, тому ви платите лише за фактичні результати.

Для масового виробництва локальне залізо зазвичай вигрває за ціною. Для періодичної розробки або невеликих команд передоплачена оплата токенів уникає витрат на простої GPU-ресурси. Ви можете поповнити рахунок криптовалютою від $20, з бонусними кредитами для більших депозитів.

Відсутність щомісячної підписки, яка прив’язує вас. Кредит не має терміну дії, що дозволяє призупинити використання без втрати коштів.

Продуктивність: Docker, CUDA та локальні обмеження

Локальна продуктивність сильно залежить від версії CUDA та покоління обладнання. Ollama підтримує CUDA 5.0+, але сучасні моделі найкраще працюють на архітектурі Ampere або новішій. VLLM, наприклад, вимагає Volta або новіше.

Docker додає невеликі накладні витрати, але спрощує керування залежностями. Ви можете використовувати такі інструменти, як Coolify, щоб налаштувати Ollama з Open Webgui з мінімальними зусиллями. Однак ви повинні переконатися, що змінна OLLAMA_HOST встановлена правильно, зазвичай на 0.0.0.0 для зовнішнього доступу.

Хостовані API пропонують стабільну продуктивність незалежно від вашого локального комп’ютера. Це критично важливо, коли вам потрібна передбачувана затримка для додатків реального часу.

Таблиця рішень: Локальний Ollama проти Цього API

Функція	Локальний Ollama	Хостована необмежена API
Складність налаштування	Високий (CUDA, Docker, Config)	Низький (API Key + Base URL)
Модель вартості	Капітальні витрати на апаратне забезпечення (Hardware CapEx)	Використання токенів з попередньою оплатою
Конфіденційність	Повний контроль	Промпти не використовуються для навчання
Контекстне вікно	Залежить від VRAM	100 000 токенів
Оновлення	Ручний	Автоматично

Технічні обмеження: Вікно контексту та ліміти

Локальні моделі обмежені обсягом VRAM вашого GPU. Модель на 7B параметрів може поміститися, але більші моделі будуть використовувати оперативну пам’ять (swap), що значно сповільнить інференцію. Наш API підтримує контекстне вікно до 100,000 токенів, що дозволяє обробляти великі документи без обмежень локального обладнання.

API обмежує максимальний обсяг виводу до 16 000 токенів на запит. Якщо ви не встановите max_tokens, значення за замовчуванням становить 2048 токенів. Це забезпечує передбачуване тарифікування та розподіл ресурсів.

Ліміти швидкості встановлено на рівні 300 запитів на хвилину на ключ. Цього достатньо для більшості робочих процесів розробки та помірних продуктивних навантажень. Ви можете використовувати один активний ключ на акаунт, замінюючи його за потреби.

Прозорість білінгу: Попередня оплата vs Підписка

Модель підписки часто стягує плату за простої. Попередня оплата токенів стягує кошти лише за те, що ви використовуєте. Наш кредит ніколи не згорає, тому ви можете поповнити його один раз і використовувати протягом місяців або років.

Оплата лише криптовалютою: USDT (TRC20) або USDC (Base). Ви можете внести будь-яку цілу суму від $20 до $500. Бонусні кошти нараховуються автоматично: +5% від $50, +10% від $100 та +15% від $200.

Нові акаунти отримують пробний кредит у розмірі $0.50, дійсний протягом 7 днів. Помилки, такі як подвійне списання, виправляються через сторінку Підтримки, але сам кредит не підлягає поверненню.

FAQ: Поширені запитання щодо API Ollama

Як використовувати uncensored модель? Надсилайте запити до нашої базової URL-адреси з model id "uncensored". Вона приймає стандартні параметри SDK OpenAI, такі як temperature, top_p та stop. Модель не відхиляє законні дорослі або суперечливі теми.

Чи це офіційний API Ollama? Ні. Ми — незалежний сервіс. Ollama — це інструмент для запуску моделей локально. Ми хостимо іншу модель з відкритими вагами через кінцеву точку, сумісну з OpenAI.

Що станеться, якщо у мене закінчиться кредит? Запити завершаться невдало, доки ви не поповните баланс. Ви можете додати кредит через криптовалюту в будь-який час. Ваш існуючий кредит не закінчується.

Чи використовуєте ви мої промпти для навчання? Ні. Ми не використовуємо ваші промпти для навчання. Ваші дані залишаються приватними.