ru ▾

API Ollama: Сравнение API без цензуры

Это руководство сравнивает локальные развертывания Ollama с размещенным, uncensored OpenAI-совместимым API, чтобы помочь вам выбрать правильную инфраструктуру. Мы рассматриваем технические компромиссы драйверов CUDA, накладных расходов Docker и тарификации токенов, чтобы вы могли решить, управлять ли собственным GPU или использовать предоплаченный API-ключ.

Последнее обновление

Почему стоит выбрать uncensored API?

Неотфильтрованные API предоставляют прямой доступ к моделям, которые не отказывают в законных взрослых, художественных или спорных темах. Этот подход избавляет от необходимости самостоятельно управлять зависимостями, специфичными для моделей, или настраивать слои выравнивания.

Наш хостинг предоставляет модель с открытым весом, оптимизированную для минимального количества отказов. Вы отправляете стандартный текстовый ввод и получаете текстовый вывод, не беспокоясь о том, что фильтры контента заблокируют ваш рабочий процесс. API поддерживает стриминг через SSE, вызов функций и JSON-режим, обеспечивая совместимость с современными стеками разработчиков.

В отличие от локальных развертываний, вам не нужно контролировать температуру GPU или обновлять драйверы. Инфраструктура масштабируется автоматически, позволяя вам сосредоточиться на создании приложения, а не на обслуживании сервера.

Локальный Ollama против Размещённого API: Компромисс

Локальное развёртывание обеспечивает полную конфиденциальность данных и нулевую задержку в WAN, но требует значительного управления оборудованием. Вам нужно настроить драйверы CUDA, Docker-контейнеры и переменные среды, такие как OLLAMA_HOST.

Хостинг API абстрагирует работу с оборудованием. Вы подключаетесь, используя базовый URL и API-ключ, точно так же, как с крупными облачными провайдерами. Это устраняет необходимость в NVIDIA Container Toolkit или управлении локальными файлами моделей.

Компромисс заключается в стоимости против удобства. Локальные запуски бесплатны после покупки оборудования, тогда как хостинговые API взимают плату за каждый токен. Для эпизодического использования или быстрого прототипирования хостинговый вариант часто быстрее в развертывании.

Сравнение стоимости: GPU-оборудование против оплаты за токены

Стоимость локального вывода фиксирована: вы покупаете GPU один раз. Размещённая тарификация масштабируется в зависимости от использования. Наша модель стоит $0.15 за 1M входных токенов и $0.50 за 1M выходных токенов. Эта предоплаченная модель означает, что ошибки и отказы бесплатны, поэтому вы платите только за реальные результаты.

Для высоконагруженного производства локальное оборудование обычно выигрывает по цене. Для эпизодической разработки или небольших команд предоплаченная оплата токенов избегает накладных расходов на простаивающие GPU-ресурсы. Вы можете пополнить баланс криптовалютой начиная с $20, с доступными бонусными кредитами для крупных депозитов.

Ежемесячная подписка не привязывает вас. Кредит не истекает, что позволяет приостановить использование без потери средств.

Производительность: Docker, CUDA и локальные ограничения

Локальная производительность сильно зависит от версии CUDA и поколения оборудования. Ollama поддерживает CUDA 5.0+, но современные модели лучше всего работают на архитектуре Ampere или новее. Например, VLLM требует Volta или новее.

Docker добавляет небольшую нагрузку, но упрощает управление зависимостями. Вы можете использовать такие инструменты, как Coolify, для настройки Ollama с Open Webgui с минимальными усилиями. Однако вы должны убедиться, что переменная OLLAMA_HOST установлена правильно, часто на 0.0.0.0 для внешнего доступа.

Хостинг API обеспечивает стабильную производительность независимо от вашего локального компьютера. Это критически важно, когда вам нужна предсказуемая задержка для приложений реального времени.

Таблица решений: Локальный Ollama против Этого API

ФункцияLocal OllamaХостинг Uncensored API
Сложность настройкиВысокий (CUDA, Docker, Config)Низкий (API Key + Base URL)
Модель стоимостиКапитальные затраты на оборудование (Hardware CapEx)Предоплачное использование токенов
КонфиденциальностьПолный контрольПромпты не используются для обучения
Контекстное окноЗависит от VRAM100 000 токенов
ОбновленияРучнойАвтоматический

Технические ограничения: Окно контекста и лимиты

Локальные модели ограничены объемом VRAM вашей видеокарты. Модель на 7B параметров может поместиться, но более крупные модели будут использовать подкачку в CPU, что значительно замедлит инференс. Наш API поддерживает контекстное окно объемом 100,000 токенов, позволяя обрабатывать большие документы без ограничений локального оборудования.

API ограничивает максимальный объем вывода до 16 000 токенов на запрос. Если не установлен параметр max_tokens, по умолчанию используется 2 048 токенов. Это обеспечивает предсказуемое выставление счетов и распределение ресурсов.

Лимиты составляют 300 запросов в минуту на ключ. Этого достаточно для большинства задач разработки и умеренных нагрузок в продакшене. Вы можете использовать один активный ключ на аккаунт, заменяя его при необходимости.

Прозрачность биллинга: Предоплата vs Подписка

Подписные модели часто взимают плату за время простоя. Предоплаченная оплата за токены начисляет оплату только за то, что вы используете. Наш кредит никогда не истекает, поэтому вы можете пополнить его один раз и использовать в течение месяцев или лет.

Оплата только криптовалютой: USDT (TRC20) или USDC (Base). Вы можете внести любую целую сумму от $20 до $500. Бонусные кредиты начисляются автоматически: +5% от $50, +10% от $100 и +15% от $200.

Новые аккаунты получают пробный кредит в размере $0.50, действительный в течение 7 дней. Ошибки, такие как двойное списание, исправляются через страницу поддержки, но сам кредит не подлежит возврату.

FAQ: Часто задаваемые вопросы по API Ollama

Как использовать uncensored модель? Отправляйте запросы на наш базовый URL с идентификатором модели "uncensored". Она принимает стандартные параметры OpenAI SDK, такие как temperature, top_p и stop. Модель не отказывается от законных зрелых или спорных тем.

Это официальный API Ollama? Нет. Мы — независимый сервис. Ollama — это инструмент для запуска моделей локально. Мы размещаем другую модель с открытым весом через конечную точку, совместимую с OpenAI.

Что произойдет, если у меня закончится кредит? Запросы завершатся неудачей, пока вы не пополните счет. Вы можете добавить кредит через криптовалюту в любое время. Ваш существующий кредит не истекает.

Используете ли вы мои промпты для обучения? Нет. Мы не используем ваши промпты для обучения. Ваши данные конфиденциальны.

Частые вопросы

Каков размер контекстного окна для uncensored API?

API поддерживает контекстное окно на 100 000 токенов для промпта и завершения в совокупности. Это позволяет обрабатывать большие документы без ограничений локальной видеопамяти (VRAM). Максимальный вывод составляет 16 000 токенов на запрос.

Как оплатить API?

Оплата только криптовалютой с использованием USDT (TRC20) или USDC (Base). Вы можете внести любую целую сумму от $20 до $500. Бонусный кредит добавляется в зависимости от размера депозита, с бонусом до +15% для депозитов от $200.

Могу ли я использовать свой существующий код SDK OpenAI?

Да. API совместим с OpenAI. Вам нужно лишь изменить base_url на HTTPS://api.ollamaapidocs.com/v1 и обновить API-ключ. Поддерживаются все стандартные параметры, такие как temperature и top_p.

Каковы ограничения скорости?

Ваш лимит составляет 300 запросов в минуту на ключ и 8 одновременных запросов. Размер тела запроса ограничен 8 МБ. Эти лимиты достаточны для большинства задач разработки и умеренных рабочих нагрузок в продакшене.

Генерируйте свой API-ключ

Зарегистрируйтесь, скопируйте свой ключ и обновите базовый URL. Вот и всё, что нужно для начала.

Создайте ключ