Ollama Nedir? Açık Kaynak Yapay Zeka Modellerini Kendi Sunucunda Çalıştırma

Kısa cevap: Ollama, Llama, Qwen, Gemma, Mistral gibi açık ağırlıklı (open-weight) büyük dil modellerini kendi bilgisayarınızda veya sunucunuzda tek komutla indirip çalıştırmanızı sağlayan ücretsiz, açık kaynaklı bir araçtır. Modelleri komut satırından sohbetle kullanabilir ya da yerel bir API üzerinden kendi uygulamalarınıza, n8n akışlarınıza bağlayabilirsiniz. Veriler dışarı çıkmaz ve token başına ücret ödemezsiniz; karşılığında modeli çalıştıracak RAM ve tercihen GPU gerekir.

Ollama Ne İşe Yarar?

• Gizlilik: Hassas dokümanları üçüncü taraf bir API'ye göndermeden işlemek.
• Sabit maliyet: Yoğun kullanımda token başına ödeme yerine sabit donanım maliyeti.
• Çevrimdışı ve deneme: Farklı açık modelleri hızlıca denemek, internet olmadan çalışmak.
• Geliştirme: Uygulamayı yerel bir modelle geliştirip test etmek.

LLM kavramına yabancıysanız önce: LLM Nedir?

Kurulum

Linux sunucuda tek komutla kurulur (güncel komutu ollama.com'dan kontrol edin):

curl -fsSL https://ollama.com/install.sh | sh

# Bir model indirip sohbet başlat
ollama run llama3.2

# İndirilen modelleri listele
ollama list

macOS ve Windows için ise ollama.com'dan masaüstü uygulaması indirilir.

Ollama API ile Kullanım

Ollama arka planda varsayılan olarak 11434 portunda bir HTTP API sunar:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "VPS ile VDS arasındaki farkı tek cümleyle açıkla.",
  "stream": false
}'

Ayrıca OpenAI uyumlu bir uç nokta da sunduğu için OpenAI istemci kütüphanelerini çoğu zaman yalnızca adres değiştirerek Ollama ile kullanabilirsiniz. Tarayıcıdan ChatGPT benzeri bir arayüz isterseniz Open WebUI gibi açık kaynak arayüzler Ollama'ya bağlanır.

Ne Kadar RAM ve GPU Gerekir?

Model büyüklüğü parametre sayısıyla (ör. 3B, 8B, 70B) ifade edilir. Ollama modelleri genellikle sıkıştırılmış (quantize) sürümlerle gelir; kaba bir kural olarak 4-bit sıkıştırmada her 1 milyar parametre için yaklaşık 0,6-0,8 GB bellek gerekir.

Model boyutu	Yaklaşık bellek (4-bit)	Ne beklemeli?
1B–3B	2–4 GB	CPU'da kabul edilebilir hız; basit sınıflandırma, özetleme
7B–8B	5–8 GB	CPU'da yavaş, GPU'da akıcı; genel amaçlı asistan
14B–32B	10–24 GB	Pratikte GPU gerekir
70B ve üzeri	40 GB+	Güçlü GPU veya birden fazla GPU

GPU'suz bir VPS'te küçük modeller (1B–3B, bazen 7B–8B) çalışır ama yanıt üretimi saniyede birkaç kelime düzeyinde kalabilir. Yoğun ve hızlı kullanım için GPU'lu donanım gerekir. Bu yüzden pek çok işletme için en pratik yol: agent'ı ve otomasyonu kendi sunucusunda çalıştırıp modeli bir API sağlayıcısından (OpenAI, Anthropic, Google) kullanmak, hassas veya basit işleri ise küçük yerel modellere bırakmaktır. Bkz. AI Agent Nedir?

Güvenlik: 11434 Portunu Dışarı Açmayın

Ollama API'sinde varsayılan olarak kimlik doğrulama yoktur. Portu internete açarsanız herkes sunucunuzun kaynaklarıyla model çalıştırabilir.

• Ollama'yı yalnızca localhost üzerinde dinletin (varsayılan davranış).
• Uzaktan erişim gerekiyorsa önüne kimlik doğrulamalı bir ters vekil (Nginx + parola) koyun veya yalnızca VPN/SSH tüneli üzerinden erişin.
• Güvenlik duvarında 11434'ü kapalı tutun (Firewall nedir?).

Ollama mı, API mı?

	Ollama (kendi sunucun)	Bulut API (OpenAI, Anthropic…)
Maliyet	Sabit donanım	Kullandıkça öde (token)
Kalite	Açık modeller; en büyük kapalı modellerin gerisinde kalabilir	En güncel ve güçlü modeller
Gizlilik	Veri sunucunda kalır	Veri sağlayıcıya gider (sözleşme koşullarına tabi)
Hız	Donanıma bağlı; GPU'suz yavaş	Hızlı ve ölçeklenebilir
Bakım	Kurulum, güncelleme sizde	Yok