URAP University ranking by academic performance Araştırma Laboratuvarı 2009 yılında Orta Doğu Teknik üniversitesi

URAP (University ranking by academic performance) Araştırma Laboratuvarı 2009 yılında Orta Doğu Teknik Üniversitesi Enformatik Enstitüsü bünyesinde kurulmuştur. URAP'ın amacı yükseköğretim kurumlarını akademik başarıları doğrultusunda değerlendirebilmek için bilimsel metotlar geliştirmek ve yapılan çalışmaların sonuçlarını kamuoyu ile paylaşmaktır. Bu çalışmaların bir ürünü olan 2016 URAP Dünya Sıralaması 2000 dünya üniversitesini, Türkiye Sıralaması da Türkiye'de yer alan ilk 76 üniversiteyi çeşitli akademik performans kriterlerine göre sıralamaktadır.

URAP sıralamaları üniversiteleri iyiler ve kötüler şeklinde ayırmayı hedeflememektedir. URAP'ın hedefi, çalışmalar sonucunda elde edilen veriler ile üniversitelerin kendi akademik performanslarını diğer üniversitelerle karşılaştırabilmesine ve belirlenen kriterlere göre gelişmeye açık yanlarını fark etmelerine yardımcı olmaktır.

Yöntem

URAP Dünya Sıralaması

URAP dünya sıralamalarında, değerlendirme yılında dünyada en fazla makale yayınlayan 2500 yüksek öğretim kurumunu temel almaktadır. Her yüksek öğretim kurumunun toplam puanı, belirlenen göstergelerdeki performanslarına dayalı olarak hesaplanmaktadır. Değerlendirme için seçilen 2500 yükseköğretim kurumu arasında en yüksek puana sahip 2000 kurum URAP tarafından açıklanmaktadır. URAP alan sıralamaları için, Avustralya ERA (Excellent in Research for Australia) tarafından belirlenen 23 bilim alanı temel alınmaktadır.

Dünya Sıralaması Göstergeleri

URAP dünya sıralamasında, 6 gösterge kullanılmaktadır. Bu göstergeler; makale sayısı, atıf sayısı, toplam bilimsel doküman sayısı, toplam yayın etkisi, toplam atıf etkisi ve uluslararası işbirliğidir. Bu göstergelere temel oluşturan ham bibliyometrik veriler istatistiksel olarak çarpık bir dağılıma sahiptir. Bu nedenle puanlamalarda ortanca(medyan) değerleri esas alınmıştır. Her göstergenin ağırlığı uzmanlardan oluşan bir grubun katıldığı Delphi yöntemi ile belirlenmiştir. Aşağıdaki tabloda 2014 itibarıyla URAP dünya sıralamaları için kullanılan göstergeler ve ağırlıklar verilmiştir.

Gösterge	Amaç	Ağırlık (600 üzerinden)	Kaynak
Makale Sayısı	Mevcut Bilimsel Üretkenlik	%21	InCites
Atıf Sayısı	Araştırmanın Etkisi	%21	InCites
Toplam Bilimsel Doküman Sayısı	Uzun Süreli Üretkenlik	%10	Web of Science
Toplam Yayın Etkisi	Araştırma Kalitesi	%18	InCites
Toplam Atıf Etkisi	Araştırma Kalitesi	%15	InCites
Uluslararası İşbirliği	Uluslararası Saygınlık	%15	InCites

Makale Sayısı

Yükseköğretim kurumlarının Web of Science tarafından taranan dergilerde son yılda yayınladığı toplam makale sayısıdır. Bu gösterge, güncel bilimsel üretkenliğin ölçümü için kullanılmaktadır. Bu göstergenin toplamdaki ağırlığı %21’dir ve makaleleri, derlemeleri ve bilimsel notları kapsamaktadır.

Atıf

Bu gösterge, bir kurumun bilimsel üretkenliğindeki kalitenin sürdürülebilirlik düzeyini göstermektedir. Bu gösterge için, son üç yılda yapılan yayınların aynı dönemde aldığı atıf sayısı kullanılmaktadır ve toplam puan içindeki ağırlığı %21’dir.

Toplam Bilimsel Doküman Sayısı

Toplam bilimsel doküman sayısı, bir kurumun bilimsel üretkenliğinin devamlılığını ölçmektedir. Bilimsel dokümanlar; Web of Science veritabanı tarafından sağlanan ve son üç yılda yayınlanan konferans bildirileri, derlemeler, akademik mektuplar (letters), irdelemeler (discussions), yazılı metinler (scripts) ve bilimsel dergilerde yayınlanan makaleler olmak üzere tüm akademik literatürü kapsar. Bu göstergenin toplamdaki ağırlığı %10’dur.

Toplam Yayın Etkisi (TYE)

Toplam yayın etkisi (TYE), bilimsel üretkenliğini ölçmektedir. Her yükseköğretim kurumunun 23 bilim alanındaki makale başına düşen atıf sayısının, o alandaki dünya ortalamasına oranı hesaplanmaktadır. Bu oran ilgili alandaki yayın sayısı ile çarpılıp 23 bilim alanı için bu çarpımlar toplanır. TYE aşağıdaki formül kullanılarak hesaplanmıştır:

$TYE=\sum _{i=1}^{23}{\Bigg [}{\Bigg (}{\frac {CPP_{i}}{CPP\_{World_{i}}}}{\Bigg )}*Articles_{i}{\Bigg ]}$ Bu göstergenin toplam puandaki ağırlığı %18’dir.

Toplam Atıf Etkisi (TAE)

Toplam Atıf Etkisi (TAE), bilimsel üretkenliğin kalitesini ölçmektedir. TAE; her yükseköğretim kurumunun 23 bilim alanında makale başına düşen atıf sayısının, o alandaki dünya ortalamasına oranıdır. TAE aşağıdaki formül kullanılarak hesaplanmaktadır:

$TAE=\sum _{i=1}^{23}{\Bigg [}{\Bigg (}{\frac {CPP_{i}}{CPP\_{World_{i}}}}{\Bigg )}*Citations_{i}{\Bigg ]}$ Bu göstergenin toplam sıralamadaki ağırlığı % 15’tir.

Uluslararası İşbirliği

Uluslararası işbirliği göstergesi, bir kurumun uluslararası tanınırlığını ölçmeyi hedeflemektedir. Üniversitelerin yabancı ülkelerdeki kurumlar ile işbirliği yaparak yayınladığı çalışmaların toplam sayısı ile hesaplanan bu gösterge için InCites verileri kullanılmaktadır . Bu göstergenin toplam sıralamadaki ağırlığı %15’tir.

URAP Türkiye Sıralaması

2011'de ilan edilen son URAP Türkiye Sıralaması'nda YÖK'ün 2010 toplam yayın sıralamasında yer verdiği 125 üniversite değerlendirmeye alınmıştır. Genel sıralamanın yanı sıra üniversiteler mühendislik, temel bilimler, sosyal bilimler, yaşam bilimleri, tıp ve ziraat/çevre alanlarında da sıralanmaktadır. Bunlara ek olarak 2000 yılından önce kurulan üniversiteler, tıp fakültesi bulunan kurumlar ile devlet ve vakıf üniversiteleri de kendi grupları içerisinde ayrıca sıralanmaktadır.

Sıralamada, YÖK, ÖSYM, ISI Web of Science gibi açık, güvenilir kaynaklardan alınan ve yayın sayısı, kişi başına düşen yayın sayısı, atıf sayısı, kişi başına düşen atıf sayısı, toplam bilimsel doküman sayısı, kişi başına düşen toplam doküman sayısı, doktora öğrenci sayısı, doktora öğrenci oranı, kişi başına düşen öğrenci sayısı gibi bilimsel üretkenliğe dayanan veriler kullanılmaktadır. Genel Türkiye sıralaması, 2000 yılından önce kurulmuş olan üniversiteler, 2000'den sonra kurulmuş yeni üniversiteler, tıp fakültesi olan ve olmayan üniversiteler, devlet ve vakıf üniversiteleri aşağıdaki tabloda açıklanan 9 kriter üzerinden hesaplanan puanlara göre sıralanmıştır:

Kriter	Amaç	Açıklama	Kaynak
Makale Sayısı	Araştırma	Son bir yıla ait SCI, SSCI ve AHCI taramalarına giren makale sayısı	ISI
Öğretim Üyesi Başına Düşen Makale Sayısı	Araştırma	Son bir yıla ait SCI, SSCI ve AHCI taramalarına giren makale sayısı / Son öğretim yılına ait öğretim üyesi sayısı	ISI ve YÖK
Atıf Sayısı	Araştırma	Son beş yılda yayınlanan makalelere son bir yılda yapılan atıf sayısı	ISI
Öğretim Üyesi Başına Düşen Atıf Sayısı	Araştırma	Son beş yılda yayınlanan makalelere son bir yılda yapılan atıf sayısı / Son öğretim yılına ait öğretim üyesi sayısı	ISI ve YÖK
Toplam Bilimsel Doküman Sayısı	Araştırma	Son beş yılda yayınlanan toplam yayın, tebliğ vb. sayısı	ISI
Öğretim Üyesi Başına Düşen Toplam Bilimsel Doküman Sayısı	Araştırma	Son beş yılda yayınlanan toplam yayın, tebliğ vb. sayısı / Son öğretim yılına ait öğretim üyesi sayısı	ISI ve YÖK
Doktora Öğrenci Sayısı	Eğitim ve Araştırma	Son öğretim yılına ait doktora öğrenci sayısı	ÖSYM ve YÖK
Doktora Öğrenci Oranı	Eğitim ve Araştırma	Son öğretim yılına ait doktora öğrenci sayısı / aynı dönemdeki toplam öğrenci sayısı	ÖSYM ve YÖK
Öğretim Üyesi Başına Düşen Öğrenci Sayısı	Eğitim	Son öğretim yılına ait toplam öğrenci sayısı / Son öğretim yılına ait öğretim üyesi sayısı	ÖSYM ve YÖK

2014-2015 Yılı URAP Sıralamaları

Dünya Sıralaması

Alan Sıralaması

Ülkelere göre Sıralamalar

Kıtalara göre Sıralamalar

Kabul ve Tanınırlık

URAP, diğer büyük sıralama sistemlerinden daha fazla kurumu kapsamaktadır. European Education Dergisi’nde yayınlanan “Where Are the Global Rankings Leading Us? An Analysis of Recent Methodological Changes and New Development” başlıklı çalışmanın URAP ile ilgili bölümünde URAP’tan, “SRG, ARWU, THE ve QS’ten daha az tanınmış olmasına rağmen ilgi çekici bir sıralamadır, çünkü adı geçen sıralamalar en fazla 700 üniversiteyi kapsarken URAP 2000 üniversiteden oluşan bir liste yayınlamaktadır.” şeklinde söz edilmektedir. Aynı şekilde Avrupa Üniversite Birliği (European University Association) “EUA 2013 Sıralaması Raporu”nda benzer bir ifade kullanılmaktadır: “URAP ve SCImago sıralama sistemlerinin göstergeleri önemli miktarda üniversitenin performansını ölçerek sıralama piyasasında önemli bir boşluğu doldurmaktadır. Bu miktar URAP için 2000, SCImago için ise 3000’in üzerindedir. Diğer sıralamalarla kıyaslandığında THE’nın sadece 400, ARWU, NTU Sıralama Sistemi ve CWTS Leiden ‘in 500, QS’in ise 700 civarında üniversite sıraladığı görülmektedir.” URAP’ın sadece akademik performansı ölçen dört sıralama sisteminden biri olduğu bahsi geçmektedir. Diğer üçü ise; Dünya Üniversiteleri Akademik Yayınları Performans Sıralaması (Performance Ranking of Scientific Papers for World Universities), CWTS Leiden Ranking ve SCImago Kurum Sıralamaları’dır. URAP küresel sıralamalarda yer alan öğrenci kalitesi ve eğitim performansı gibi öğretim ile ilgili göstergeleri dahil etmemekte, yalnızca araştırma odaklı göstergeleri kapsamaktadır. URAP, İngiltere’deki Yükseköğretim İstatistikleri Kurumu’nun “International Benchmarking in UK Higher Education” raporunda, akademik performansı ölçen ve kıyaslamada kullanılacak kaynaklar arasında listelenmiştir. Aynı raporda URAP “tüm üniversite sıralamaları” içerisinde kategorize edilmiştir.

URAP ile İlgili Araştırma, Kitap ve Raporlar

URAP, çeşitli çalışmalarda küresel sıralamalara atıfta bulunularak bahsedilmekte ve kullanılmaktadır. Higher Education Policy and Management Dergisi’nde yayınlanan “World University Ranking Systems: An Alternative Approach Using Partial Least Squares Path Modelling” makalesinde önerilen modelde URAP, dünya çapındaki 9 büyük sıralama sistemleri arasına dahil edilmiştir (Diğerleri ARWU, QS, Times, Webometrics, Taiwan, Leiden, SIR ve CWUR’dur.). Aynı çalışmada URAP yalnızca yayın performansına dayalı sıralama sistemleri arasında kategorize edilmiştir. Aynı kategorideki diğer sıralama sistemleri Performance Ranking of Scientific Papers for World Universities, CWTS Leiden Ranking ve SCImago Institutions Rankings’tir.
Aşağıda URAP’ı ele alan ya da modellerine veya kıyaslamalarına URAP’ı dahil eden kitap, hakemli makaleler ve konferans bildirilerinin bir kısmı listelenmektedir.

Where Are the Global Rankings Leading Us? An Analysis of Recent Methodological Changes and New Developments, European Journal of Education
World university ranking systems: an alternative approach using partial least squares path modelling, Journal of Higher Education Policy and Management
Sustainable Development and Quality Assurance in Higher Education: Transformation of Learning and Society
Determinants of University Choice: A Study on Economics Departments in Turkey, Journal of Higher Education.
Collecting University Rankings for Comparison Using Web Extraction and Entity Linking Techniques, Information and Communication Technologies in Education, Research, and Industrial Applications.
URAP-TR: a national ranking for Turkish universities based on academic performance, Scientometrics.
Using VIKOR methodology for ranking universities by academic performance, Journal of Mathematics, Statistics and Operations Research (JMSOR).
Global University Rankings and Their Impact, EUA Report in Rankings 2013, European University Association.
Contributions of Turkish academicians supervising PhD dissertations and their universities to economics: an evaluation of the 1990–2011 period, Scientometrics.
A Type-2 Fuzzy MCDM Method for Ranking Private Universities in İstanbul, Proceedings of the World Congress on Engineering, 2014.
Adoption of Web 2.0 in academic libraries of top African universities, The Electronic Library.
Examining Job Description to Develop Job Performance Indicators for Higher Education Institution Based on MBNQA Education Criteria, Journal of Education & Vocational Research.
Methodology for comparative analysis of university rankings, with the Mediterranean and Black sea region countries taken as an example, Middle-East Journal of Scientific Research.
Software Quality in Academic Curriculum: A Case Study in Turkey, 12th International Conference on Computational Science and Its Applications (ICCSA).
University Ranking Lists: A directory., 2013 Report, Division of Analysis and Evaluation, University of Göteborg.
Apeejay Stya Eğitim Araştırma Kurumu tarafından yayınlanan “ ASERF E Eğitim Haber Bülteni” (ASERF E News Bulletin on Education) bazı ülkelerdeki en iyi 10 üniversitenin THE’daki sıralama sonuçlarını, URAP ve QS dahil olmak üzere diğer sıralama sistemlerinin sıralama sonuçları ile kıyaslamaktadır.

Basında URAP

Thomson Reuters partners with Times on university rankings
03.04.2013 tarihinde yayınlanan Tübingen Üniversitesi basın bülteni, üniversitenin URAP’taki sıralamasını ele almıştır.
Turkey and Arab states announce new HE collaboration, University World News
Power and responsibility – The growing influence of global rankings, University World News
10 Turkish universities rank among top 500, Hürriyet Daily News
Beş Romen üniversitesinin QS, URAP, U-Multirank gibi uluslararası ve diğer sıralama sistemlerine dahil edilmesi ile ilgili rapor

Değerlendirme

URAP sıralamalarında kullanılan göstergelerin mutlak değerli, büyüklük bağımlı olması, sıralamanın büyük kurumlara yanlı olmasına neden olmaktadır. Avrupa Üniversite Birliği tarafından yayınlanan “EUA 2013 Sıralama Raporu”na göre URAP kitapları göz ardı etmekte, sanat ve beşeri bilimler alanındaki çalışmaları kapsam dışı bırakmakta ve sosyal bilimler alanını yeteri kadar temsil etmemektedir. Ayrıca, bibliyometrik göstergelere alan normalizasyonu uygulanmaması nedeniyle URAP alanlar arası yayın yapma kültürlerindeki farklılıkları dengeleyememektedir. Ek olarak rapor “Yayın sayısı göstergesinde olduğu gibi bilhassa atıf sayısı göstergesinde sonuçlar, doğa bilimleri ve özellikle tıp alanında asimetrik dağılmıştır.” şeklinde bir ifadeye yer vermiştir. Ayrıca, URAP’ın eğitimle ilgili göstergeleri hariç tutmasının (dahil etmemesinin), yalnızca araştırma odaklı kurumlara odaklanmasına neden olduğu ifade edilmektedir. Göteborg Üniversitesi Analiz ve Değerlendirme Birimi tarafından yayınlanan “University Ranking Lists: A directory” başlıklı raporda, bir sıralama sistemine 500’den fazla kurumun dahil edilmesinin neden olabileceği bir soruna işaret edilmiştir. Sorun, “URAP 2000 üniversite sıralamaktadır, amaç yalnızca Batıdaki elit grubu kapsayan bir sıralama yayınlamak değildir. Bu amaç, diğer sıralama sistemlerinin listelerindeki ilk 400-500 kurumdan fazlasını yayınlamama kararı ile tamamıyla çelişmektedir. Çünkü bu seviyenin altında, sıralama yöntemlerinin güvenilir olacağını düşünmemektedirler, URAP bu problem hakkında bir açıklamada bulunmamaktadır.” şeklinde ifade edilmiştir.

Kaynakça

^ . 24 Eylül 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 1 Ekim 2011.
^ ^a ^b "Arşivlenmiş kopya". 27 Aralık 2011 tarihinde kaynağından . Erişim tarihi: 23 Aralık 2011.
^ . 10 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.
^ . 10 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.
^ . 10 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.
^ . 10 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.
^ . 10 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.
^ . 17 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.
^ . 6 Şubat 2012 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.
^ . 19 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 21 Aralık 2011.
^ . 10 Ağustos 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.
^ . 27 Ağustos 2008 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.
^ "Arşivlenmiş kopya". 16 Mart 2011 tarihinde kaynağından . Erişim tarihi: 21 Aralık 2011.
^ "Arşivlenmiş kopya". 3 Ocak 2012 tarihinde kaynağından . Erişim tarihi: 23 Aralık 2011.
^ "Arşivlenmiş kopya". 23 Kasım 2011 tarihinde kaynağından . Erişim tarihi: 23 Aralık 2011.
^ . 11 Şubat 2012 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.

[1] . 24 Eylül 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 1 Ekim 2011.

[ref423-2] "Arşivlenmiş kopya". 27 Aralık 2011 tarihinde kaynağından . Erişim tarihi: 23 Aralık 2011.

[3] . 10 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.

[4] . 10 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.

[5] . 10 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.

[6] . 10 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.

[7] . 10 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.

[8] . 17 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.

[9] . 6 Şubat 2012 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.

[10] . 19 Aralık 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 21 Aralık 2011.

[11] . 10 Ağustos 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.

[12] . 27 Ağustos 2008 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.

[13] "Arşivlenmiş kopya". 16 Mart 2011 tarihinde kaynağından . Erişim tarihi: 21 Aralık 2011.

[14] "Arşivlenmiş kopya". 3 Ocak 2012 tarihinde kaynağından . Erişim tarihi: 23 Aralık 2011.

[15] "Arşivlenmiş kopya". 23 Kasım 2011 tarihinde kaynağından . Erişim tarihi: 23 Aralık 2011.

[16] . 11 Şubat 2012 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Aralık 2011.