Ollama API -dokumentit: Epärajattu API-vertailu

Miksi valita sensuroimaton API?

Epäsuodatetut API-tunnit tarjoavat suoraa pääsyä malleihin, jotka eivät hylkää laillisia aikuis-, fiktiivisiä tai kiistanalaisia aiheita. Tämä lähestymistapa poistaa tarpeen hallita mallikohtaisia riippuvuuksia tai hienosäätää sovituskerroksia itse.

Isäntäpalvelimemme palvelu tarjoaa avoimen mallin, joka on optimoitu vähäiseksi kieltäytymiseksi. Syötit standardin tekstisyötteen ja saat tekstituotoksen huolehtimatta siitä, että sisältösuodattimet estävät työvuokosi. API tukee streamausta SSE:n kautta, funktion kutsumista ja JSON-tilaa, varmistaen yhteensopivuuden nykyaikaisten kehittäjätyökalujen kanssa.

Toisin kuin paikalliset käyttöönotot, sinun ei tarvitse seurata GPU-lämpötilaa tai käsitellä ajuripäivityksiä. Infrastruktuuri skaalautuu automaattisesti, jolloin voit keskittyä sovelluksen rakentamiseen palvelimen ylläpidon sijaan.

Paikallinen Ollama vs. Isännöity API: Kompromissi

Paikallinen asennus tarjoaa täyden datayksityisyyden ja nolla viiveen WAN-yhteyden yli, mutta vaatii merkittävää laitteiston hallintaa. Sinun on konfiguroitava CUDA-ajurit, Docker-kontit ja ympäristömuuttujat kuten OLLAMA_HOST.

Isännöidyt API:t abstrahoivat laitteiston. Yhdistät perus-URLin ja API-avaimen avulla, aivan kuten suurten pilvipalveluntarjoajien kohdalla. Tämä poistaa NVIDIA Container Toolkitin tai paikallisten mallitiedostojen hallinnan tarpeen.

Vastine on kustannus versus mukavuus. Paikalliset ajot ovat ilmaisia laitteiston hankinnan jälkeen, kun taas isännöidyt API:t veloittavat tokenia kohden. Harvinaiseen käyttöön tai nopeaan prototyyppityöhön isännöity reitti on usein nopeampi ottaa käyttöön.

Kustannusten vertailu: GPU-laitteisto vs. Merkkilaskutus

Paikallinen päättely on kiinteää: ostat GPU-kiihdyttimen kerran. Isännöity laskutus skaautuu käytön mukaan. Mallimme maksaa $0.15 per 1M syöttötoken ja $0.50 per 1M tulostustoken. Tämä esimaksu-malli tarkoittaa, että virheet ja hylkäykset ovat ilmaisia, joten maksat vain todellisista tuloksista.

Tuotannossa suurissa mittakaavoissa paikallinen laitevoimakkuus voittaa yleensä hinnassa. Satunnaiseen kehitykseen tai pieniin tiimeihin esimaksullinen token-laskutus välttää tyhjää käyvän GPU-resurssin ylikuormituksen. Voit ladata palvelua kryptomaksuilla alkaen 20 $:sta, ja suuremmista talletuksista saa lisäkrediittiä.

Ei kuukausimaksua lukitse sinut. Saldo ei vanhene, mikä mahdollistaa käytön keskeyttämisen ilman varojen menettämistä.

Suorituskyky: Docker, CUDA ja paikalliset rajoitukset

Paikallinen suorituskyky riippuu vahasti CUDA-versiostasi ja laitteistogeneraatiostasi. Ollama tukee CUDA 5.0+:aa, mutta modernit mallit toimivat parhaiten Ampere-arkkitehtuurissa tai uudemmissa. VLLM vaatii esimerkiksi Voltaa tai uudemman.

Docker lisää vähäisen ylikuormituksen, mutta yksinkertaistaa riippuvuuksien hallintaa. Voit käyttää Coolify-työkalua Ollaman ja Open Webgmin asennukseen vähäisellä vaivalla. Sinun täytyy kuitenkin varmistaa, että OLLAMA_HOST-muuttuja on asetettu oikein, usein osoitteeseen 0.0.0.0 ulkoista käyttöä varten.

Isännöidyt API:t tarjoavat yhtenäisen suorituskyvyn riippumatta paikallisesta koneestasi. Tämä on kriittistä, kun tarvitset ennustettavan viiveen reaaliaikaisiin sovelluksiin.

Päätöstaulukko: Paikallinen Ollama vs. tämä API

Ominaisuus	Paikallinen Ollama	Isännöity suodattamaton API
Asennuksen monimutkaisuus	Korkea (CUDA, Docker, Config)	Matala (API-avain + Base URL)
Kustannusmalli	Laitteisto CapEx	Esimaksutokenkäyttö
Yksityisyys	Täysi hallinta	Syötteitä ei käytetä koulutukseen
Kontekstiluukku	Riippuu VRAM:ista	100 000 tokeniä
Päivitykset	Manuaalinen	Automaattinen

Tekniset rajoitukset: Konteksti-ikkuna ja rajat

Paikalliset mallit ovat rajoittuneet GPU:n VRAM-muistin suhteen. 7B-malli mahtuu ehkä, mutta suuremmat mallit siirtyvät CPU-käyttöön, mikä hidastaa päättelyä merkittävästi. API-tamme tukee 100 000 tokenin konteksti-ikkunaa, jolloin voit käsitellä suuria asiakirjoja ilman paikallisia laiterajoituksia.

API rajoittaa 16 000 tokenin maksimipituuteen tulosteessa pyyntöä kohden. Jos et aseta max_tokens-arvoa, oletusarvo on 2 048 tokenia. Tämä varmistaa ennustettavan laskutuksen ja resurssien käytön.

Nopeusrajoitukset on asetettu 300 pyyntöön minuutissa avainta kohti. Tämä on riittävä useimpiin kehitys- ja kohtuullisiin tuotantotyökuormiin. Voit käyttää yhtä aktiivista avainta tiliä kohti ja vaihtaa sen tarvittaessa.

Laskutuksen läpinäkyvyys: Esimaksu vs. Tilaus

Tilausmalleissa peritään usein maksu odottavasta ajasta. Esimaksullinen token-laskutus laskuttaa vain käytetystä. Krediittisi vanhenee koskaan, joten voit täydentää kerran ja käyttää sitä kuukausien tai vuosien ajan.

Maksut ovat vain kryptoja: USDT (TRC20) tai USDC (Base). Voit tallettaa minkä tahansa kokonaissumman $20 ja $500 väliltä. Bonuskrediitti lisätään automaattisesti: +5 % alkaen $50:stä, +10 % alkaen $100:sta ja +15 % alkaen $200:sta.

Uudet tilin saavat $0.50 kokeilukrediitin, joka on voimassa 7 päivää. Virheet kuten kaksoisveloitukset korjataan tukisivun kautta, mutta krediitti itsessään ei ole palautettavissa.

UKK: Yleiset Ollama API -kysymykset

Miten käytän uncensored-mallia? Lähetä pyyntöjä perusosoitteeseemme mallitunnuksella "uncensored". Se hyväksyy vakiolliset OpenAI-SDK-parametrit kuten temperature, top_p ja stop. Malli ei kieltäydy laillisista aikuis- tai kiistanalaisista aiheista.

Onko tämä virallinen Ollama-API? Ei. Olemme itsenäinen palvelu. Ollama on työkalu mallien suorittamiseen paikallisesti. Isännöimme eri avoin painoarvo -mallia OpenAI-yhteensopivan päätepisteen kautta.

Mitä tapahtuu, jos luottosaldo loppuu? Pyyntö epäonnistuu, kunnes lisäät varoja. Voit lisätä krediittia kryptolla milloin tahansa. Olemassa oleva krediittisi ei vanhene.

Käytetäänkö promptejasi koulutukseen? Ei. Emme käytä syötteitäsi koulutukseen. Dataasi pysyy yksityisenä.