it ▾

Documentazione API Ollama: Confronto API Uncensored

Questa guida confronta le distribuzioni locali di Ollama con un'API ospitata e uncensored compatibile con OpenAI per aiutarti a scegliere l'infrastruttura giusta. Esaminiamo i compromessi tecnici dei driver CUDA, l'overhead di Docker e il fatturazione per token così da poter decidere se gestire la tua GPU o utilizzare una chiave API prepagata.

Ultimo aggiornamento

Perché scegliere un'API senza filtri?

Le API uncensored forniscono accesso diretto a modelli che non rifiutano argomenti adulti leciti, fictitious o controversi. Questo approccio elimina la necessità di gestire dipendenze specifiche del modello o di ottimizzare manualmente gli strati di allineamento.

Il nostro servizio ospitato offre un modello open-weight ottimizzato per minimizzare i rifiuti. Invii un input di testo standard e ricevi un output di testo senza preoccuparti che i filtri del contenuto blocchino il tuo flusso di lavoro. L'API supporta lo streaming tramite SSE, il richiamo di funzioni e la modalità JSON, garantendo la compatibilità con gli stack di sviluppo moderni.

A differenza delle distribuzioni locali, non devi monitorare la temperatura della GPU o gestire gli aggiornamenti dei driver. L'infrastruttura scala automaticamente, permettendoti di concentrarti sulla creazione della tua applicazione piuttosto che sulla manutenzione del server.

Ollama locale vs API ospitata: La compromesso

La distribuzione locale offre una privacy totale dei dati e zero latenza su WAN, ma richiede una gestione significativa dell'hardware. Devi configurare i driver CUDA, i contenitori Docker e le variabili d'ambiente come OLLAMA_HOST.

Le API ospitate astraggono l'hardware. Ti connetti utilizzando un URL base e una chiave API, proprio come faresti con i principali provider cloud. Questo elimina la necessità del NVIDIA Container Toolkit o della gestione dei file del modello locali.

Il compromesso è tra costo e comodità. Le esecuzioni locali sono gratuite dopo l'acquisto dell'hardware, mentre le API hostate fatturano per token. Per un uso occasionale o il prototipaggio rapido, la route hostata è spesso più veloce da distribuire.

Confronto dei costi: hardware GPU vs fatturazione per token

I costi di inferenza locale sono fissi: acquisti la GPU una volta. La fatturazione ospitata scala con l'utilizzo. Il nostro modello costa $0.15 per 1M token di input e $0.50 per 1M token di output. Questo modello prepagato significa che errori e rifiuti sono gratuiti, quindi paghi solo per i risultati effettivi.

Per la produzione ad alto volume, l'hardware locale solitamente vince sul prezzo. Per lo sviluppo sporadico o piccoli team, il fatturazione dei token prepagati evita il sovraccarico delle risorse GPU inattive. Puoi ricaricare con criptovalute a partire da $20, con credito bonus disponibile per depositi più grandi.

Nessun canone di abbonamento mensile ti lega. Il credito non scade, permettendoti di mettere in pausa l'utilizzo senza perdere fondi.

Prestazioni: Docker, CUDA e vincoli locali

Le prestazioni locali dipendono fortemente dalla tua versione CUDA e dalla generazione dell'hardware. Ollama supporta CUDA 5.0+, ma i modelli moderni performano meglio su architettura Ampere o successiva. VLLM, ad esempio, richiede Volta o versioni successive.

Docker aggiunge un leggero overhead ma semplifica la gestione delle dipendenze. Puoi utilizzare strumenti come Coolify per configurare Ollama con Open Webgui con il minimo sforzo. Tuttavia, devi assicurarti che la variabile OLLAMA_HOST sia impostata correttamente, spesso su 0.0.0.0 per l'accesso esterno.

Le API ospitate offrono prestazioni coerenti indipendentemente dalla tua macchina locale. Questo è cruciale quando hai bisogno di una latenza prevedibile per applicazioni in tempo reale.

Tabella decisionale: Ollama locale vs. Questa API

FunzionalitàOllama LocaleAPI ospitata uncensored
Complessità della configurazioneAlto (CUDA, Docker, Config)Bassa (Chiave API + URL di base)
Modello di costoCapitale fisso hardware (Hardware CapEx)Utilizzo Token Prepagato
PrivacyControllo CompletoPrompt non utilizzati per l'addestramento
Finestra di contestoDipende dalla VRAM100.000 Token
AggiornamentiManualeAutomatico

Vincoli tecnici: Finestra di contesto e limiti

I modelli locali sono vincolati dalla VRAM della tua GPU. Un modello da 7B potrebbe adattarsi, ma i modelli più grandi verranno spostati sulla CPU, rallentando significativamente l'inferenza. La nostra API supporta una finestra di contesto di 100,000 token, consentendoti di elaborare documenti di grandi dimensioni senza i limiti dell'hardware locale.

L'API impone un output massimo di 16.000 token per richiesta. Se non imposti max_tokens, il valore predefinito è 2.048 token. Questo garantisce fatturazione prevedibile e allocazione delle risorse.

I limiti di velocità sono impostati a 300 richieste al minuto per chiave. Questo è sufficiente per la maggior parte dei flussi di lavoro di sviluppo e dei carichi di lavoro di produzione moderati. Puoi utilizzare una chiave attiva per account, sostituendola se necessario.

Trasparenza di fatturazione: Prepagato vs Abbonamento

I modelli di abbonamento spesso addebitano per il tempo inattivo. La fatturazione a gettone prepagato addebita solo per ciò che usi. Il nostro credito non scade mai, quindi puoi ricaricare una volta e usarlo per mesi o anni.

I pagamenti sono esclusivamente in criptovalute: USDT (TRC20) o USDC (Base). Puoi depositare qualsiasi importo intero da $20 a $500. Il credito bonus viene aggiunto automaticamente: +5% da $50, +10% da $100 e +15% da $200.

I nuovi account ricevono $0.50 di credito di prova valido per 7 giorni. Errori come le doppie addebitazioni vengono risolti tramite la pagina Supporto, ma il credito stesso non è rimborsabile.

FAQ: Domande comuni sull'API Ollama

Come uso il modello uncensored? Invia al nostro URL base con l'ID del modello "uncensored". Accetta parametri standard degli SDK OpenAI come temperature, top_p e stop. Il modello non rifiuta argomenti adulti leciti o controversi.

È questa l'API ufficiale di Ollama? No. Siamo un servizio indipendente. Ollama è uno strumento per eseguire modelli in locale. Ospitiamo un modello open-weight diverso tramite un endpoint compatibile con OpenAI.

Cosa succede se rimango senza credito? Le richieste falliranno fino a quando non effettui un ricarico. Puoi aggiungere credito tramite criptovalera in qualsiasi momento. Il tuo credito esistente non scade.

Utilizzi i miei prompt per l'addestramento? No. Non utilizziamo i tuoi prompt per l'addestramento. I tuoi dati rimangono privati.

Domande comuni

Qual è la finestra di contesto per l'API senza filtri?

L'API supporta una finestra di contesto di 100.000 token per prompt e completamento combinati. Questo ti consente di elaborare documenti di grandi dimensioni senza vincoli di VRAM locale. L'output massimo è di 16.000 token per richiesta.

Come pago per l'API?

I pagamenti sono esclusivamente in criptovalute utilizzando USDT (TRC20) o USDC (Base). Puoi depositare qualsiasi importo intero da $20 a $500. Viene aggiunto un credito bonus in base alla dimensione del deposito, con un bonus fino al +15% per depositi di $200 o superiori.

Posso usare il mio codice SDK OpenAI esistente?

Sì. L'API è compatibile con OpenAI. Devi solo modificare base_url in HTTPS://api.ollamaapidocs.com/v1 e aggiornare la tua chiave API. Sono supportati tutti i parametri standard come temperature e top_p.

Quali sono i limiti di frequenza?

Sei limitato a 300 richieste al minuto per chiave e a 8 richieste concorrenti. La dimensione del corpo della richiesta è limitata a 8 MB. Questi limiti sono sufficienti per la maggior parte dei carichi di lavoro di sviluppo e di produzione moderati.

Genera la tua chiave API

Registrati, copia la tua chiave e aggiorna l'URL di base. È tutto ciò che serve per iniziare.

Crea chiave