L5 · İzleme & Denetim
Observability
Performans takibi, KPI panoları, denetim logları. Her çağrı izlenebilir, her çıktı denetlenebilir — "AI hangi role bağlı, hangi süreçte" sorusuna anlık cevap.
Nasıl çalışır
Observability ile 6 adımda yola çık.
KPI tanımla
Her Emploid için success rate, SLA, maliyet
Trace topla
Trigger → AI çağrısı → çıktı zinciri
Skorla
Çıktı kalitesi, kullanıcı feedback
Audit log
Tüm karar ve veri erişimi
Anomali
Hata oranı, gecikme, drift uyarısı
İyileştir
Versiyon karşılaştırma, A/B
Yetkinlikler
Üç temel iş, tek bir yüzeyde.
Gerçek zamanlı KPI panoları
Her Emploid için: çağrı sayısı, başarı oranı, ortalama latency, maliyet (token + altyapı). Süreç başına SLA takibi ve trend grafikleri.
- Per-Emploid dashboard
- Success rate / latency / cost
- SLA + alert kuralları
Başarı
98.4%
+0.6
Latency
412ms
-38
Maliyet
$0.012
-12%
Çağrı/gün
1.840
+128
Denetim logları & audit trail
Çalışan dijital ajanın her davranışı kayıt altında. Hangi prompt'la, hangi veriye eriştiğiyle, hangi LLM cevabıyla, hangi çıktıyı ürettiğiyle — denetçilere hazır.
- Hash-imzalı log (sha256:)
- Trace ID ile uçtan uca
- KVKK / SOC 2 ready
Anomali tespiti & drift uyarısı
Çıktı tutarlılığı zaman içinde düşerse uyarır. Tekrarlanan hata, gecikme artışı, model drift — sen fark etmeden ekibine ping gider.
- Output consistency monitor
- Latency / error spike alarmı
- Model performance drift
Latency spike — Sözleşme Uzmanı
p95 latency: 412ms → 1.8s (4.4× üstü baseline)
Output drift — Sözleşme Uzmanı
Bütçe önerisi tutarlılığı %92 → %78 (son 100 çağrı)
Auto-resolved — ISO 9001
Geçici LLM provider hatası giderildi
Teknik Kapasiteler
Observability altında çalışan teknoloji
Entegrasyonlar
İlgili
Platformda devam et.
Bu yetkinliği kendi süreçlerinde göster.
2 hafta içinde çalışan bir prototip — birlikte ölç, birlikte karar verelim.