ISO/IEC 17024’te Risk Temelli Belgelendirme Kararı
Personel belgelendirmede sınav tamamlanır, değerlendirme yapılır, puan hesaplanır ve dosya belgelendirme kararı için Karar Vericiye gelir.
İlk bakışta süreç oldukça basittir.
Geçme notu %70 ise;
- 69 alan aday başarısızdır.
- 70 alan aday başarılıdır.
- 73 alan aday başarılıdır.
Peki Karar Vericinin görevi gerçekten sadece bu matematiksel karşılaştırmayı yapmak mıdır?
Biraz daha zor bir soru soralım:
Karar Vericinin önündeki 70 puanın gerçekten 70 olduğundan ne kadar eminiz?
Bu soruyu cevaplayabilmek için ISO/IEC 17024’ün belgelendirme kararı yaklaşımını, ölçme ve değerlendirme biliminin sağladığı bazı araçlarla birlikte düşünmemiz gerekiyor.
Burada önemli bir ayrım yapmak gerekir.
Bu yazıda ele alınan Standart Ölçüm Hatası (SEM), değerlendirici etkisi, sınıflandırma hatası ve değerlendiriciler arası uyum gibi kavramlar ISO/IEC 17024’ün doğrudan tarif ettiği yöntemler değildir. Bunlar ölçme ve değerlendirme/psikometri literatürünün araçlarıdır.
Ama bu araçlar önemli bir soruya cevap vermemize yardımcı olabilir:
Bir Karar Verici, önüne gelen değerlendirme sonucuna ne zaman daha yakından bakmalıdır?
Önce Bir Kavram: Standart Ölçüm Hatası
Ölçme ve değerlendirmede elde edilen puanın adayın yeterliliğinin mutlak ve hatasız karşılığı olduğu varsayılamaz.
Bu noktada Standard Error of Measurement (SEM) – Standart Ölçüm Hatası kavramıyla karşılaşırız.
Basitleştirilmiş bir örnek üzerinden düşünelim.
Geçme notumuz:
70
SEM değerimiz:
3
Bir aday 67, başka bir aday 73 puan almış olsun.
İlk soru:
67 alan gerçekten kaldı mı?
Peki diğer taraftan:
73 alan gerçekten geçti mi?
Bu sorular bizi önemli bir ayrımla karşı karşıya bırakıyor.
SEM, bireysel adaya puan tamamlama yetkisi değildir
SEM değerinin 3 olması;
“Aday 67 aldı. Üç puan da kuruluş eklesin ve 70 yapalım”
anlamına gelmez.
Karar Verici bireysel bir adayın dosyasını incelerken SEM’i gerekçe göstererek adayın gözlenen puanına puan ekleyemez veya puanından düşemez.
Ancak burada başka bir ayrım daha yapılmalıdır.
SEM’in önceden tanımlanmış ve bilimsel olarak gerekçelendirilmiş bir standart belirleme (standard setting) veya kesme puanı metodolojisinin parçası olarak kullanılması farklı bir konudur.
Dolayısıyla tartışılması gereken;
“SEM kullanılabilir mi?”
sorusu değildir.
Asıl sorun;
SEM’in bireysel aday dosyasında sonradan bir tolerans veya puan tamamlama aracı olarak kullanılmasıdır.
Bu yazıda 67–73 aralığının kullanılması da otomatik bir karar kuralı önerisi değildir. SEM’in nasıl yorumlanacağı, hangi güven düzeyinin kullanılacağı ve sınır bölgesinin nasıl tanımlanacağı kuruluşun kullandığı ölçme metodolojisine dayanmalıdır.
Buradaki örnek yalnızca şu soruyu görünür hâle getirmektedir:
Kesme puanına yakın verilen kararların güvenilirliğini ne ölçüde sorguluyoruz?
Peki Gördüğümüz Puanın Kendisi Doğru mu?
Burada ölçme belirsizliğinden önce başka bir sorunla karşılaşabiliriz.
Değerlendirici etkisi (rater effect).
Sahada zaman zaman karşılaşılabilecek oldukça insani, ancak belgelendirme sistemi açısından riskli bir yaklaşım vardır:
“Bir puandan bir şey olmaz.”
Aday sınırda kalmıştır.
Değerlendirici bir performans adımında tereddüt eder.
Adayın başarısız olmasını istemediği için o adımı aday lehine yorumlar.
69 olması gereken sonuç 70 olur.
Karar Vericinin önüne ise artık 69 değil, 70 gelir.
Matematiksel olarak hiçbir problem yoktur.
Puanlar doğru toplanmıştır.
Kesme puanı 70’tir.
Sonuç 70’tir.
Aday başarılı görünmektedir.
Ama asıl soru hâlâ ortadadır:
“Bu 70 nasıl oluştu?“
Ölçme ve değerlendirme literatürü değerlendirici kaynaklı farklılıkların teorik bir ihtimal olmadığını gösteriyor.
Schauber ve arkadaşlarının 2024 tarihli çalışması, değerlendiriciler arasındaki tutarsızlığın özellikle başarı-başarısızlık sınırındaki performanslarda önemli hâle gelebildiğini göstermektedir.
Homer’ın performansa dayalı sınavlar üzerinde gerçekleştirdiği çalışmada ise değerlendiriciler, incelenen kesme puanlarındaki varyansın önemli bir kaynağı olarak ortaya çıkmıştır.
Bu çalışmalar personel belgelendirme sınavları üzerinde gerçekleştirilmiş değildir. Dolayısıyla sonuçlarını ISO/IEC 17024 için doğrudan bir kural olarak aktarmak doğru olmaz.
Ancak önemli bir riske işaret etmektedir:
İnsan değerlendirmesine dayalı ölçmelerde değerlendirici etkisi vardır ve bu etki özellikle sınırdaki kararların güvenilirliği açısından dikkate alınmaya değerdir.
Burada iki farklı risk birbirinden ayrılmalıdır. Bazı farklılıklar belirli bir değerlendirme adımının farklı değerlendiriciler tarafından farklı yorumlanmasından kaynaklanabilir. Bazıları ise belirli bir değerlendiricinin sistematik olarak daha katı veya daha toleranslı puanlama eğiliminden kaynaklanabilir. İlki değerlendirme adımının ve kriterlerin açıklığını, ikincisi ise değerlendiricinin performansını ve kalibrasyon ihtiyacını sorgulamayı gerektirir.
İç Doğrulama Kayıtları Bize Ne Söylüyor?
Personel belgelendirme kuruluşlarının önemli veri kaynaklarından biri kayıttan ve şahit olarak gerçekleştirilen iç doğrulamalardır.
Ancak bu faaliyetlerden elde edilen raporlar yalnızca dosyalanmak için mi hazırlanmalıdır?
Yoksa kuruluş bu raporlardan öğrenebilir mi?
Örneğin bir yeterliliğin performans sınavında 20 değerlendirme adımı bulunduğunu düşünelim.
Yıl içerisinde gerçekleştirilen iç doğrulamalar topluca incelendiğinde değerlendiriciler arasında bazı adımlarda yüksek uyum bulunduğu, bazı adımlarda ise görüş ve puanlama farklılıklarının tekrarlandığı görülebilir.
Varsayalım ki;
- P7,
- P12,
- P16
adımlarında diğer adımlara göre belirgin şekilde daha fazla değerlendirici farklılığı ortaya çıkıyor.
Bu artık kuruluş açısından önemli bir bilgidir.
Kuruluş şunu öğrenmiştir:
“Bu yeterlilikte bütün değerlendirme adımları aynı ölçüde risk taşımıyor.”
Bir sonraki adım ise bu bilgiyi yalnızca yıllık iç doğrulama toplantısının tutanağına yazmak değil, karar verme sürecinin girdilerinden biri hâline getirmektir.
Böylece iç doğrulama, yalnızca geçmişte yapılmış sınavları kontrol eden bir faaliyet olmaktan çıkar.
Gelecekte verilecek belgelendirme kararlarına bilgi üreten bir öğrenme mekanizmasına dönüşür.
Karar Verici Her Şeyi Yeniden mi Değerlendirecek?
Hayır.
Burada önemli bir sınır bulunmaktadır.
Karar Verici ikinci değerlendirici değildir.
Karar Vericinin görevi sınav kaydını açıp adayın performansını baştan sona yeniden puanlamak değildir.
Örneğin;
“Değerlendirici P12’ye sıfır vermiş ama bence aday bu adımı yaptı. Ben iki puan vereyim.”
diyemez.
Böyle bir durumda Karar Verici artık belgelendirme kararı vermekten çıkarak değerlendirme yapmaya başlamış olur.
Ancak bu, Karar Vericinin şüpheli bir sonuç karşısında hiçbir şey yapamayacağı anlamına da gelmez.
Kuruluş, Karar Vericinin karşılaşabileceği farklı riskler için uygun kontrol mekanizmalarını önceden tanımlayabilir.
1. Aynı Değerlendiriciden Açıklama İstenmesi
Karar Verici değerlendirme kaydını anlayamamış olabilir.
Değerlendiricinin yaptığı işaretleme okunamıyor olabilir.
Bir performans adımına neden belirli bir puan verildiği mevcut kayıtlardan açık şekilde anlaşılamıyor olabilir.
Bu durumda dosya aynı değerlendiriciye gönderilerek mevcut değerlendirmenin açıklanması istenebilir.
Buradaki amaç ikinci bir puanlama yaptırmak değil;
mevcut değerlendirmenin ne ifade ettiğini açıklığa kavuşturmaktır.
2. Farklı Bir Değerlendiriciden Yeniden Değerlendirme İstenmesi
Bazı durumlarda sorun açıklama eksikliğinden daha ciddi olabilir.
Karar Verici;
- değerlendiricinin puanlama yetkinliğinden,
- değerlendirme tutarlılığından,
- tarafsızlığından,
- belirli bir performans adımının doğru değerlendirilip değerlendirilmediğinden
şüphe duyabilir.
Kuruluşun önceden tanımlanmış sistemi buna imkân veriyorsa mevcut sınav kayıtlarının farklı bir değerlendirici tarafından incelenmesi istenebilir.
Ancak ikinci değerlendirici de sınavın sağlıklı biçimde yeniden değerlendirilemeyeceğini tespit edebilir.
Örneğin mevcut kayıtlar değerlendirme için yeterli olmayabilir veya sınavın uygulanmasında sonucu etkileyen bir problem görülebilir.
Bu durumda ikinci değerlendiricinin sonucu:
“Bu adımı ben şöyle puanladım.”
olmak zorunda değildir.
Bunun yerine:
“Mevcut sınav kayıtlarından güvenilir bir yeniden değerlendirme yapılamıyor. Sınavın yenilenmesi gerekir.”
sonucuna da ulaşabilir.
3. İç Doğrulama veya Uzman Görüşü İstenmesi
Bazı dosyalar daha ayrıntılı teknik inceleme gerektirebilir.
Karar Vericinin görevi her teknik tartışmanın uzmanı olmak değildir.
Mevcut kayıtlar karar vermek için yeterince açık değilse veya konu daha ayrıntılı uzman incelemesi gerektiriyorsa, kuruluşun tanımladığı iç doğrulama veya uzman görüşü mekanizması kullanılabilir.
Burada önemli bir ayrım bulunmaktadır:
Uzman görüşü istemek, belgelendirme kararını uzmana devretmek değildir.
Uzman incelemesini yapar.
Bulgularını raporlar.
Bu rapor Karar Verici için yeni bir karar girdisi oluşturur.
Nihai belgelendirme kararı yine yetkili Karar Verici tarafından verilir.
4. Sınavın Yenilenmesinin Talep Edilmesi
Her hata için uzman görüşüne ihtiyaç olmayabilir.
Karar Verici bazen mevcut kayıtlardan sınavın geçerliliğini etkileyen açık bir problemi doğrudan görebilir.
Sınavın uygulanış biçimi, kayıtların yetersizliği veya değerlendirme yapılmasını imkânsız hâle getiren başka bir problem nedeniyle mevcut sınavın güvenilir bir belgelendirme kararına dayanak oluşturamayacağı açık olabilir.
Bu durumda kuruluşun önceden tanımlanmış kuralları ve yetkilendirmesi çerçevesinde sınavın yenilenmesine ilişkin süreç işletilebilir.
Burada yapılan şey adaya puan vermek değildir.
Tam tersine:
Güvenilir olmadığı düşünülen bir sınavdan belgelendirme kararı üretmeyi reddetmektir.
5. Matematiksel Hata Varsa Ne Olacak?
Bir başka durum ise değerlendirme hatasından tamamen farklıdır.
Örneğin değerlendirici puanları doğru vermiştir.
Ancak;
12 + 18 + 16 + 23 = 69
olması gereken toplam forma yanlışlıkla 68 olarak aktarılmıştır.
Burada performans yeniden değerlendirilmemektedir.
Yeni bir puan verilmemektedir.
Mevcut değerlendirmenin matematiksel sonucundaki objektif bir hata tespit edilmektedir.
Bu kontrol, belgelendirme kararı verilmeden önce karar girdilerinin doğrulanmasının bir parçası olarak ele alınabilir.
Böylece yapılan işlem verilmiş bir belgelendirme kararının sonradan değiştirilmesi değil, karara esas olacak verinin doğruluğunun güvence altına alınmasıdır.
Bu tür düzeltmelerin kim tarafından, hangi yetkiyle ve hangi kayıt yöntemiyle yapılacağı kuruluş tarafından açık biçimde tanımlanmalıdır.
Örneğin kendi uygulamamda bu tür bir düzeltmenin Karar Verici tarafından tek başına yapılması yerine ilgili birim yetkilisi olan Belgelendirme Müdürü ile birlikte kayıt altına alınmasını ve çift imza ile izlenebilir hâle getirilmesini tercih ediyorum.
Bu çift imza uygulaması ISO/IEC 17024’ün doğrudan tarif ettiği zorunlu bir yöntem olarak değil;
karar öncesi girdi doğrulamasında yapılan müdahalenin yetkilendirilmesini ve izlenebilirliğini güçlendiren bir kontrol yöntemi
olarak değerlendirilmelidir.
Peki Karar Verici Nereye Bakacağını Nasıl Bilecek?
Bence asıl önemli soru burada başlıyor.
Her Karar Vericinin her adayın bütün sınavını yeniden incelemesi hem uygulanabilir değildir hem de Karar Vericiyi fiilen ikinci değerlendirici konumuna getirme riski taşır.
Bunun yerine kuruluş zaman içerisinde kendi verilerinden öğrenebilir.
Karar Vericinin inceleme yoğunluğunu belirlemek için farklı risk göstergeleri birlikte değerlendirilebilir.
Kesme puanına yakınlık
Adayın sonucu başarı-başarısızlık sınırına ne kadar yakın?
Ölçme belirsizliği
Ölçme aracının SEM ve diğer psikometrik göstergeleri ne söylüyor?
SEM gibi psikometrik göstergelerin kullanılabilmesi yeterli veri ve uygun istatistiksel altyapı gerektirir. Bu verilerin bulunmadığı durumlarda risk temelli inceleme; iç doğrulama sonuçları, kritik değerlendirme adımları, değerlendirici performansı ve kuruluşun mevcut diğer kanıtları üzerinden de geliştirilebilir.
İç doğrulama sonuçları
Geçmiş doğrulamalarda hangi değerlendirme adımlarında daha fazla görüş veya puanlama farklılığı oluşuyor?
Değerlendirici etkisi
Belirli değerlendiricilerin sonuçlarında sistematik farklılaşmalar görülüyor mu?
Kritik adımlar
Hangi adımlardaki değerlendirme farklılığı doğrudan başarı-başarısızlık sonucunu etkileyebilir?
Bu veriler bir araya getirildiğinde kuruluşun elinde yeni bir araç oluşabilir:
Karar Verici Risk Temelli İnceleme Matrisi
Örneğin:
| Risk göstergesi | Örnek bulgu | İnceleme odağı |
|---|---|---|
| Kesme puanına uzak sonuç | 85 puan | Olağan karar kontrolleri |
| Kesme puanına yakın sonuç | Örneğin 69–71 aralığındaki sonuçlar | Artırılmış inceleme |
| İç doğrulamada tekrar eden farklılık | P12 ve P16 | İlgili değerlendirme kayıtları |
| Kritik adım | P16 sonucu doğrudan etkiliyor | Kritik adımın değerlendirme kanıtı |
| Değerlendirici kaynaklı risk | Geçmiş doğrulamalarda tekrarlayan farklılık | Değerlendirmenin güvenilirliği |
| Açıklanamayan değerlendirme | P12’nin neden başarısız olduğu anlaşılamıyor | Uygun kontrol mekanizmasının çalıştırılması |
Bu tablo otomatik bir karar algoritması değildir.
Örneğin “69 alan herkes yeniden incelenir” şeklinde değişmez bir kural oluşturmak zorunda değildir.
Matrisin amacı Karar Vericiye yeni bir puanlama yetkisi vermek de değildir.
Amaç;
kuruluşun geçmiş verilerinden elde ettiği risk bilgisini, karar incelemesinin nereye yoğunlaştırılacağını belirlemek için kullanmaktır.
Yaşayan Bir Doküman
Risk Temelli İnceleme Matrisi bir kez hazırlanıp klasöre kaldırılacak bir doküman olmamalıdır.
İç doğrulama sonuçları geldikçe değişebilir.
Örneğin bir yıl P12 ve P16 yüksek riskli görünür.
Değerlendiricilere eğitim verilir.
Yeni iç doğrulamalarda P12’deki farklılık önemli ölçüde azalır.
P12 matristen çıkarılabilir veya risk seviyesi düşürülebilir.
Buna karşılık P9’da yeni bir değerlendirme problemi ortaya çıkabilir.
P9 matrise eklenir.
Böylece kuruluş sadece kayıt tutmaz.
Kayıtlardan öğrenir.
Ve öğrendiği bilgiyi sonraki belgelendirme kararlarının güvenilirliğini artırmak için kullanır.
Üç Sorunun Kesiştiği Yer
Risk temelli karar incelemesini basitleştirerek üç soruyla ifade edebiliriz:
1. Hangi aday?
Adayın sonucu kesme puanına ne kadar yakın?
2. Hangi değerlendirme adımı?
Geçmiş iç doğrulama verilerinde hangi adımlar daha yüksek değerlendirici farklılığı gösteriyor?
3. Ne yapılmalı?
Tespit edilen şüphenin niteliğine göre;
- aynı değerlendiriciden açıklama mı istenecek,
- farklı değerlendiriciden değerlendirme mi talep edilecek,
- iç doğrulama veya uzman görüşü mü alınacak,
- sınavın yenilenmesi süreci mi işletilecek,
- yoksa yalnızca objektif bir matematiksel/aktarım hatası mı düzeltilecek?
Böylece Karar Vericinin incelemesi kişisel sezgiye değil, kuruluşun zaman içerisinde oluşturduğu risk bilgisine dayanmaya başlayabilir.
Kullanılan Ölçme ve Değerlendirme Terimleri
| Türkçe karşılık | İngilizce teknik terim | Açıklama |
|---|---|---|
| Standart ölçüm hatası | Standard Error of Measurement (SEM) | Ölçme sonucundaki hata/belirsizlik düzeyini ifade eden istatistiksel ölçü. |
| Kesme puanı / Geçme notu | Cut score / Passing score | Başarı-başarısızlık sınıflandırmasının yapıldığı sınır. |
| Gözlenen puan | Observed score | Ölçme sonucunda aday için elde edilen puan. |
| Gerçek puan | True score | Klasik Test Kuramında ölçme hatasından arındırılmış kuramsal puan. |
| Güven aralığı | Confidence interval | Belirli varsayımlar altında gerçek puana ilişkin belirsizliğin ifade edildiği aralık. |
| Sınıflandırma hatası | Classification error | Adayın yanlış başarı/başarısızlık kategorisine atanması. |
| Yanlış geçirme | False positive | Gerçekte yeterli olmayan adayın başarılı sınıflandırılması. |
| Yanlış bırakma | False negative | Gerçekte yeterli olan adayın başarısız sınıflandırılması. |
| Karar tutarlılığı | Decision consistency | Tekrarlanan/eşdeğer ölçümlerde aynı sınıflandırma kararına ulaşılma derecesi. |
| Sınıflandırma doğruluğu | Classification accuracy | Sınıflandırma kararının adayın gerçek yeterlilik durumuyla uyum derecesi. |
| Değerlendirici etkisi | Rater effect / Examiner effect | Değerlendiricinin özelliklerinin veya değerlendirme eğiliminin elde edilen sonuç üzerindeki etkisi. |
| Değerlendiriciler arası uyum | Inter-rater agreement | Farklı değerlendiricilerin aynı performansa ilişkin değerlendirmelerinin uyuşma düzeyi. |
| Değerlendiriciler arası güvenirlik | Inter-rater reliability | Değerlendiriciler arasındaki farklılığa rağmen değerlendirme sonuçlarının ne ölçüde güvenilir olduğunu gösteren kavram. |
Sonuç: Karar Verici Puanı Değil, Kararın Güvenilirliğini Sorgular
Başlangıçtaki sorumuza geri dönelim.
Geçme notu 70 ve SEM 3 ise 67 alan gerçekten kaldı mı?
73 alan gerçekten geçti mi?
Bu soruların cevabı 67’ye üç puan eklemek veya 73’ten üç puan çıkarmak değildir.
SEM, önceden tanımlanmış bir standart belirleme metodolojisinin parçası olabilir; ancak bireysel aday dosyasında Karar Vericiye puan tamamlama yetkisi vermez.
Asıl mesele daha derindedir:
Önümüzde bulunan puanı üreten değerlendirme sürecine güvenmek için yeterli kanıtımız var mı?
Karar Verici ikinci değerlendirici değildir.
Ancak yalnızca önüne gelen toplam puanı okuyup imza atan kişi de olmamalıdır.
Puanın veya değerlendirme sonucunun güvenilirliğine ilişkin makul bir şüphe oluştuğunda, puanı kendi kanaatiyle değiştirmek yerine şüphenin niteliğine uygun ve kuruluş tarafından önceden tanımlanmış kontrol mekanizmasını harekete geçirmelidir.
İç doğrulama sonuçları, değerlendirici farklılıkları, kritik değerlendirme adımları, ölçme belirsizliği ve kesme puanına yakınlık birlikte değerlendirildiğinde ise kuruluş zaman içerisinde kendi Karar Verici Risk Temelli İnceleme Matrisini oluşturabilir.
Belki de bütün yaklaşımı tek cümlede özetlemek mümkündür:
Karar Vericinin görevi puanı değiştirmek değil; o puana güvenilip güvenilemeyeceğine karar vermektir.
Kaynaklar ve İleri Okuma
- Schauber, S. K., Olsen, A. O., Werner, E. L. & Magelssen, M. (2024). Inconsistencies in rater-based assessments mainly affect borderline candidates: but using simple heuristics might improve pass-fail decisions. Advances in Health Sciences Education.
- Homer, M. (2021). Re-conceptualising and accounting for examiner (cut-score) stringency in a ‘high frequency, small cohort’ performance test. Advances in Health Sciences Education.
- Tighe, J., McManus, I. C., Dewhurst, N. G., Chis, L. & Mucklow, J. (2010). The standard error of measurement is a more appropriate measure of quality for postgraduate medical assessments than is reliability: an analysis of MRCP(UK) examinations. BMC Medical Education.
Ayrıca: