Öğretim hedeflerimize ulaşabilmeye gün geçtikçe daha fazla önem verirken, daha güvenilir ölçme-değerlendirme yöntemleri geliştirmeyi de göz ardı etmiyoruz. Bunları yapmaktaki amaçlarımızı Ronald Ebstein şu 3 başlık altında özetlemiştir:

▪ Hangi aşamada olursa olsun öğrencileri ve mesleğe devam etmekte olan hekimleri daha fazla öğrenmeleri için motive ederek yeterliklerini güncel gelişmelere uyarlayabilmek.

▪ Hekimlerin daha az yeterli oldukları alanları tespit ederek toplumun bütününün çıkarlarını korumaya gayret göstermek.

▪ İleri eğitime devam edecek hekimleri belirleyebilmek.

Hatırlarsanız, önceki yazımızda iki farklı ölçme/değerlendirme yaklaşımına değinmiştik. Bunlardan bir tanesi öğrenmenin sağlanması için(formative-geliştirici) değerlendirme iken bir diğeri ne kadar öğrenildiğinin (summative-birikimi özetleyici, karar verdirici)  değerlendirilmesidir. Öğrencinin kapasitesini geliştirmeye odaklanan geliştirici değerlendirmede akademisyenlerin öznel fikirlerinin önemli olduğunu da ortaya koymuş ve sınavdan öğrencinin sağlayacağı çıkar yüksek ise birikimsel değerlendirme metotlarının kullanılmasının daha uygun olacağının altını çizmiştik.

Yüksek seviyeli sınavlarda (örnek belirtmek gerekirse herhangi bir eğitim programın tamamlanması veya daha ileri eğitim için hak kazandıracak olması gibi) birikimi özetleyen (karar verdirici, ne kadar öğrenildiğini gösteren) değerlendirme yöntemleri nesnelliği güvenceye alacaktır. Bu yargı, geliştirici metotların ek olarak kullanılamayacağı anlamına gelmesin. Burada değinilmek istenen; merkezi rolün birikimsel metotlara biçilmesinin daha uygun olacağıdır.

Ölçme ve değerlendirme için kullanabileceğimiz metotları belirlerken 5 kriteri göz önünde bulundurmamız gerekir. Bu beş kriter; güvenilirlik (reliability), geçerlilik (validity), metodun  öğrenme ve mesleğin icrası üzerine etkileri, her iki tarafça (uygulayan ve uygulanan) kabul görmesi ve son olarak zahmet/maliyet etkinliğidir.

Güvenilirlik: Öğrencinin bir sınavdan alacağı puanın, aynı konu (veya alanda) yapılacak bir başka sınavda alacağı puan ile hemen hemen aynı olmasıdır. Başka bir deyişle, güvenilirlik, sınav sonuçlarının aynı şekilde tekrar edebilirliğidir. Bir konuda sorulabilecek tüm sorular arasından seçilen bir grup soru sınavı oluşturmaktadır. Herhangi bir kurumun oluşturduğu bu (paralel) sınavların öğrenciler hakkında benzer sonuçlar vermesinin sağlanması güvenilirliğin esasıdır. Testlerdeki seçenek sayısının yeterli olmaması veya bazı sınavların sadece bazı bölümlere odaklanıyor olması, güvenilirliği tehdit eden unsurlardır.

Geçerlilik: Bir sınavın geçerliliğinden bahsetmek, o sınavın ortaya koymayı amaçladığı bilgi ve becerileri gerçekten ölçüp ölçmediğini değerlendirmektir. Bir takım yeterliklerin doğrudan ölçülemeyecek olması, bazı kanıtlarla çıkarımlar yapmayı gerektirecektir. Örneğin bir konuda uzman olanların, o konuda yapılacak olan sınavda öğrencilerden daha yüksek puan almaları sınavın geçerliliği için iyi bir kanıt olabilir. Sınavda seçilen soruların konu dağılımları veya her bir sorunun kendi içerisinde düzeyli olması sınavın bütününü geçerli sayılabilmesi için diğer kanıtlardır.

Metodun öğrenme üzerine etkileri: Formative (geliştirici) değerlendirme (ileri öğrenme için rehberlik eder, güvence verir, öz değerlendirmeyi özendirir ve değerleri şekillendirir) sınıflandırılmamış teorik bilgilerin bir düzene oturtulmasını sağlar. Öğrencinin motivasyonunu artırarak kendisi için daha yüksek standartlar belirlemesine aracılık eder. Summative (birikimi özetleyici, karar verdirici) değerlendirme profesyonel düzenlemelere ve mesleğin sorumluluklarının karşılanmasına daha uygun olsa da öğrenme motivasyonun artırılması için bir engel teşkil edebilir. Birikimi değerlendiren sınavların avantajı ise, öğrencinin değerlendirileceği konulara kendiliğinden çalışmasını sağlayacağından öğrenci gelişimini farklı bir şekilde tetikleyebilmesidir. Aslında burada öncelikle atmamız gereken adım; eğitim sürecinde kullanacağımız metotların hangilerinin geliştirici hangilerinin birikimi özetleyerek karar verdirici olacağı hususunda etraflı bir sınıflama yapmamız olabilir.

Metodun kabul görürlüğü: Uygulayanların veya öğrencilerin benimsemedikleri bir sınavın umulan başarıyı yakalamasının güçlüğünü tahmin edersiniz. Kullanacağımız her metodu, artıları ve eksileri ile hem uygulayanlar hem de öğrenciler arasında tartışmamız fayda getirecektir. Bu sayede sınavın eksik veya anlaşılmayan kısımları yeniden düzenlenebilecektir. Tabi, tartışma sürecindeki katkılarıyla belki de yeniden şekillenecek olan metot, öğrenciler tarafından da daha az yargılanacak ve bu sayede daha fazla ciddiye alınacaktır.

Metodun zahmeti/maliyeti: Eğer ki eğitim, yönetimsel bir kavram ise, maliyet etkinlik zaten ayrılmaz bir parçadır denebilir. Kullanılacak metodun ne kadar sürede hazır edilebileceği, kurumların yeni yatırımlar yapmasını gerekli kılıp kılmayacağı ve daha etkin olabilmesi için neler yapılması gerektiği konularında dikkatli planlamalar yapılmasının öneminin altını çizmek gerekir. Bunların hayata geçirilebilmesi için kurumlarda merkezi bir komisyonun oluşturulması faydalı olabilir.

Yazılı sınavlar

Uyguladığımız sınavların belki de en önemli bileşenleri yazılı olanlar… Eminim birçoğumuz yazılı sınavlarda kullandığımız soruların biçimleri ile çokça ilgilenmişizdir. Farklı soru biçimleri geliştirebilmek mutlaka önemlidir ancak daha önemli olan, sorulacak soruların içeriğidir. Şöyle ki, neyi test ettiğimiz, nasıl test ettiğimizden biraz daha önceliklidir. Öğrencilerin sınavlara soru olabilecek kısımlara daha fazla ağırlık vermeleri kaçınılmazdır. Bu durum; öğretenlerin kullandıkları soru biçimi ile sorgulanması oldukça zor olacak kısımların, öğrenciler tarafından tahmin edilerek daha az önemsenmesine neden olacaktır. İşte bu noktada sınavların kapsamını genişletebilmek için çözüm, farklı soru biçimleri geliştirebilmek olabilir. Psikometri ile alakalı uygunluğun önemli olup olmayacağı ise yine sınavın önemine ve seviyesine bağlı olarak değişkenlik gösterecektir. Daha az önem taşıyan, öğrencinin çok fazla çıkar sağlamayacağı sınavlarda güvenilirlik ve geçerlilikten ziyade öğrencinin daha fazla öğrenmek üzere motive edilmesi önemsenmelidir.

Yazılı sınavlar, elbette ki, farklı biçimlerde yapılabilir. Çoktan (en doğruyu) seçmeli sorular, birden fazla doğruyu/yanlışı bulmaya yönelik sorular, kısa cevaplı açık uçlu sorular, bir konuda istenen açıklamalı cevaplar, anahtar özellikleri sorgulayan sorular ve genişletilmiş eşleştirmelerle yazılı sınavlar oldukça kalın bir dosyadır.

Çoktan (en doğruyu) seçmeli sorular, her türlü sınavda kullanılabildikleri ve daha kısa zamanda güvenilir sonuçlar ortaya koydukları için tercih edilirler. Kısa zamanda cevaplanabilmeleri soru sayısının ve dolayısıyla konu kapsamının da geniş tutulabilmesi avantajını getirir. Doğru oluşturulurlarsa sadece ezberlenmiş sığ bilgileri değil, yorum kabiliyetini ve yapılması beklenen bazı çıkarımları da test edebilirler. Burada aklınızdan geçenleri tahmin edebiliyor gibiyim; evet, ne yazık ki bu soruları hazırlarken yeterli özeni gösteremiyoruz. Soru köküne özellikle önem vermemiz, yorumlanması gereken ipuçlarını doğru dilbilgisi kurallarına göre sıralayabilmemiz ve sadece doğru seçeneği değil tüm seçenekleri titizlikle düzenlememiz bu sorularla istediğimiz değerlendirmeyi yapabilmemize olanak sağlayacaktır. Çoktan seçmeli soruların, önem taşıyan değerlendirme metotlarından olsalar da, yaratıcılık, hipotez oluşturabilme veya yazabilme gibi öğrencinin kendiliğinden üretmesi gereken becerileri hiçbir zaman ölçemeyeceklerini aklımızdan çıkarmamamız gerekir.

Doğruyu/yanlışı bulmaya yönelik sorular da yazılı sınavlarda kullanılabilir. Bu sorular, çoğu zaman bir konudaki bilinenlerin genişliğini ortaya koymaktadırlar. Verilen bir durum veya sorgulanan bir bilgi ile ilgili “Aşağıdakilerden hangileri doğrudur/yanlıştır?” tarzı bir soruda dikkat edilmesi gereken, doğruların mutlak savunulabilir olmasının yanında yanlış olanların su götürmez yanlış olmaları gereğidir. Bu soruları oluşturmak biraz daha zordur. Cevaplanması da biraz daha fazla zaman alır ancak zaman/güvenilirlik oranı çoktan seçmeli sorulara göre çok da arkada kalmamaktadır.

Kısa cevaplı açık uçlu sorular yaratıcılığı ölçebildiği için değerlidir. Cevaplanması için ise daha fazla zamana ihtiyaç vardır. Başarılı bir değerlendirme olabilmesi için; beklediği cevapla ilgili doğru açıklamalar yapılması ve net bir yanıt anahtarının olması gerekir. Eğer, sadece bilgilerin bilinip bilinemeyeceği sorgulanacaksa; çoktan seçmeli sorular daha uygundur. Kısa cevaplı açık uçlu soruların, sadece çoktan seçmelilerle değerlendiremediğimiz beceriler için kullanılması yerinde olacaktır.

Açıklamalı cevaplar beklenen sorular; öğrencinin özetleyebilme, hipotez oluşturabilme, ilişki kurabilme ve bildiklerini özel durumlara uyarlayabilme yeteneklerini ölçerler. Öğrencilerin yazabilme becerilerini de yansıtan bu yazılı sınav metodu, bilgiyi işleyebilme kapasitesini de gösterir. Tabi, cevaplanması oldukça fazla zaman alır. Metodun güvenilirliği de diğerleri kadar yüksek değildir. Beklenen cevaplarla ilgili net bir şemanın öğrencilere verilmiş olması gereği atlanmamalıdır. Diğer yöntemlerin kullanılmasının uygun olmayacağının düşünüldüğü becerilerin değerlendirilmesinde kullanılabilirler.

Anahtar özellikleri sorgulayan sorular da giderek daha fazla popülarite kazanmaktadır. Burada gerçeğe oldukça uygun bir olgu verildikten sonra bazı elzem kararların verilip verilemediği test edilmektedir. Bu sayede güvenilirlik kavramından uzaklaşılmadan sorun çözebilme yetisi değerlendirilebilmektedir. Ne var ki, oluşturması oldukça zaman alıcı bir biçimdir. Öncesinde fazla deneyimi olmayan eğitimcilerin ortalama 5 saatlerini alabildiği tahmin edilmektedir. Bu sorularla, bilinenlerin klinik bir problem karşısında nasıl uygulanabileceği değerlendirilir. Özellikle yüksek seviyeli olması istenen lisans sınavlarında kullanılması önerilebilir. Bireysel olarak da fazlasıyla önem verdiğim bu modelin daha net anlaşılması için aşağıdaki örneği inceleyelim:

“28 yaşında bayan, haftada bir kez olan, 1-5 dakika süren hızlı ve düzenli kalp çarpıntısı şikâyeti ile başvuruyor. Atakların başlaması ve sonlanması ani olup herhangi bir göğüs ağrısına neden olmuyor. Hastanın bilinen bir kalp rahatsızlığı bulunmamaktadır. Her gün 2 veya 3 kupa kahve içtiğini belirtiyor. Sigara alışkanlığı olmayan hastanın tansiyonu 120/88 mmHg ve nabzı 96/dk’dır. Normalin 1,5 katı büyüklüğündeki tiroid bezi sert olarak ele gelmektedir. Apekste midsistolik bir klik ve sol üst sternal kenarda 2/6 erken sistolik üfürüm alınmaktadır. EKG sinüs taşikardisi haricinde normaldir. Tanının konabilmesi için sonraki adım ne olmalıdır?”

Bu sorudaki anahtar özellik, öğrencinin verilen olgu aracılığı ile ulaşabileceği en muhtemel tanıdır. Öğrenci, bu anahtar özelliği yakaladığı noktada sorulmuş olan “tanı koymak için sonraki adımı” doğru belirtebilecektir. Bu sayede, öğrencinin klinik bilgilerinin birbirini tamamlayan boyutları sorgulanabilmektedir. 

Genişletilmiş eşleştirme soruları, bir seçenekler listesi ve bu seçeneklerin en az birinin yanıt olacağı soruları içerir. Soru olarak gerçeğe uygun bazı olgular kullanılabilir. Bazı seçenekler birden fazla kez kullanılabilirken bazı seçeneklerin hiç kullanılmayabileceği öğrenciye söylenmiş olmalıdır. Bu soru biçiminin faydası, tek doğru cevabı olan çoktan seçmeli sorulara göre daha fazla seçenek kombinasyonunun olması ve bu sayede bilmeyen tarafından tesadüfen doğru yanıtlanacak sorularla karşılaşılması ihtimalinin daha az olmasıdır. Bu soru biçiminin de daha iyi anlaşılabilmesi için bir örnekle zenginleştirmeyi yerinde buldum:

“a) Campylobacter jejuni, (b) Candida albicans, (c) Giardia lamblia, (d) Rotavirus, (e) Salmonella typhi, (f) Yersinia enterocolitica, (g) Pseudomonas aeruginosa, (h) Escherichia coli, (i) Helicobacter pylori, (j) Clostridium perfringens, (k) Mycobacterium tuberculosis, (l) Shigella flexneri, (m) Vibrio cholerae, (n) Clostridium difficile, (o) Proteus mirabilis, (p) Tropheryma whippelii

Yukarıdaki liste içerisinden aşağıdaki her bir klinik duruma sebebiyet verecek en uygun mikroorganizmayı  seçiniz:

  • 48 yaşında kronik dispepsi yakınması olan erkek hasta ani başlayan karın ağrısı yakınması ile acil servise başvurmuştur. Fizik muayenede defans ve rebound alınmış olup batın palpasyonla ağrılıdır. Batın grafisinde diyafragma altında serbest hava gözlenmiştir.
  • 45 yaşında bayan hasta tekrarlayan solunum yolu enfeksiyonları için antibiyotik tedavisi almıştır. Kanamalı diyare geçiren hasta ağır karın ağrısı tanımlamaktadır. Yapılan endoskopide  psödo-membranlar görülmüştür. “

Daha doğru ve yerinde değerlendirmeler yapabilmek için sadece bir çeşit soruların kullanıldığı sınavlar, yerini farklı biçimlerde sorulardan oluşacak sınavlara bırakmalıdır. Çünkü tek bir soru tipi ile farklı beceri ve yeterliklerin ölçülebilmesi mümkün olmayabilir. Soru tipi seçimi yapılırken maliyet/fayda ve güvenilirlik analizleri mutlaka yapılmalıdır.

Yazılı sınavlar için hazırlanacak sorularda dikkat edilmesi gerekenleri bir başlık altında toplarsak şunları söyleyebiliriz:

  • Klinik olgular kullanılarak bilginin kullanılıp kullanılamadığını test edin.
  • Seçeneklerinizde, sınava girecek tüm öğrenciler tarafından bilinmesini mutlaka gerekli gördüğünüz bilgileri kullanın.
  • Stajlarda ve kliniklerde öğrenilmeye uygun olguları sorularınızda kullanın. Bir diğer deyişle; sınavlardaki olgularınız, öğrencinin hastanede büyük ihtimalle karşılaştığı durumlardan olsun.
  • Sadece, izole edilmiş sığ bilgilerin hatırlanmasına dayalı sorulardan uzak durun.
  • Bilinmesi çok gerekli olmayan ilginç başlıkları sorulara konu yapmayın.

Kaynaklar

Amin Z, Khoo HE. (2003) Overview of Assessment and Evaluation. Basics in Medical Education, 251-260 (World Scientific Publishing Company, Singapore)

Case SM, Swanson DB. (2001) Constructing Written Test Questions for the Basic and Clinical Sciences National Board of Medical Examiners (NBME)

Ebstein RM. Assessment in Medical Education. N Eng J Med 2007;356:387-96

Ferguosn E, James D, Madeley L. Factors associated with success in medical school: systematic review of the literature. BMJ 2002; 324: 952-7

Murt A. Tıp eğitimi: Ölçme ve değerlendirme; öğrenmek için değerlendirme. Sağlık Düşüncesi ve Tıp Kültürü Dergisi, 18. sayı. http://www.sdplatform.com/Baslik.aspx?BID=488  (Erişim tarihi: 9 Haziran 2011)

Schuwirth LW, van der Vleuten CP. (2003) Written assessment. ABC of Learning and Teaching in Medicine(BMJ Publishing) s.29-31

Swanson DB, Norcini JJ, Grosso LJ. Assessment of clinical competence: written and computer based simulations. Assessment and Evaluation in Higher education 1987;12:220-46

Yazının PDF versiyonuna ulaşmak için Tıklayınız.  

Haziran-Temmuz-Ağustos 2011 tarihli Sağlık Düşüncesi ve Tıp Kültürü Dergisi 19. sayıdan alıntılanmıştır.