Menindaklanjuti posting saya sebelumnya, Fakultas Hukum yang Paling Banyak Dikutip: Sisk-Leiter (Westlaw) v. Sag (HeinOnline): Matthew Sag (Emory; Google Scholar), Peringkat Dampak Akademik Ke Depan untuk Sekolah Hukum AS, 51 Fla. St .UL Rev.___ (2023):
Meskipun konsep peringkat sekolah hukum saat ini sedang dikritik, penghapusan peringkat salah tempat. Mengingat jumlah, keragaman, dan penyebaran geografis lebih dari 190 sekolah hukum yang diakreditasi penuh oleh American Bar Association, peringkat sangat penting untuk memungkinkan berbagai pemangku kepentingan membuat perbandingan antar sekolah. Namun, lanskap peringkat saat ini sangat buruk. Pemeringkatan sekolah hukum US News mengandalkan survei yang dirancang dengan buruk dan sangat subyektif untuk mengukur “kekuatan reputasi”, daripada mencari data kutipan objektif yang mudah tersedia dan lebih valid dan andal. Calon perampas Berita AS menggunakan data yang lebih baik, tetapi membuat pilihan sewenang-wenang lainnya yang membatasi dan mendistorsi peringkat mereka. Salah satu kekurangan yang umum terjadi pada US News dan mereka yang akan menggantikannya adalah pemujaan terhadap perbedaan kecil dalam penempatan yang tidak mencerminkan perbedaan substansi yang sebenarnya. Informasi ini lebih buruk daripada sepele: secara aktif menyesatkan. Artikel ini mengusulkan seperangkat peringkat sekolah hukum baru yang bebas dari semua cacat ini.
Peringkat Dampak Akademik Berwawasan Ke Depan (“peringkat FLAIR”) yang diperkenalkan dalam Artikel ini didasarkan pada data yang menunjukkan berapa kali artikel tinjauan hukum oleh masing-masing dari 5.139 anggota fakultas di 191 sekolah hukum Amerika telah dikutip oleh artikel tinjauan hukum lainnya di lima tahun terakhir. Pemeringkatan FLAIR dapat digunakan sebagai panduan objektif untuk dampak akademik relatif dari sekolah hukum, atau sebagai komponen dalam pemeringkatan objektif yang lebih luas. Pemeringkatan FLAIR didasarkan pada data yang tersedia untuk umum, andal, dan objektif yang diperoleh dari situs web sekolah hukum dan platform penelitian, HeinOnline. Peringkat FLAIR mencakup semua sekolah hukum terakreditasi penuh ABA, tidak seperti peringkat alternatif pengaruh akademik yang selektif, seringkali sewenang-wenang. Selain itu, peringkat FLAIR dirancang untuk memberikan informasi yang bermakna dengan mengelompokkan sekolah ke dalam tingkatan berdasarkan jaraknya dari rata-rata semua sekolah dan tidak menekankan peringkat ordinal. Dengan demikian, peringkat FLAIR memungkinkan pembaca untuk membuat perbandingan rasional antara sekolah hukum, daripada hanya membuat hierarki demi hierarki.
Matthew Sag (Emory; Google Scholar), Peringkat Dampak Akademik Sekolah Hukum, Dengan FLAIR:
Saya senang mengumumkan perilisan Forward-Looking Academic Impact Rankings (FLAIR) untuk sekolah hukum AS pada tahun 2023. Saya memulai proyek ini dua tahun lalu karena rasa frustrasi saya yang mendalam terhadap fakultas hukum saya (Loyola Chicago, pada saat itu) telah sekali lagi telah ditinggalkan dari Sisk Rankings. Proyek ini telah berkembang dan matang sejak saat itu, dan desain peringkat FLAIR sangat bergantung pada debat yang saya lakukan dengan Prof. Gregory Sisk, sebagian di depan umum, tetapi sebagian besar secara pribadi. …
Bagaimana peringkat FLAIR dibandingkan dengan peringkat sekolah hukum lainnya?
Di antara banyak kelemahan mereka, peringkat sekolah hukum US News mengandalkan survei yang dirancang dengan buruk dan sangat subyektif untuk mengukur “kekuatan reputasi,” daripada mencari data kutipan objektif yang tersedia dengan mudah yang lebih valid dan dapat diandalkan. Calon perampas US News menggunakan data yang lebih baik tetapi membuat pilihan sewenang-wenang lainnya yang membatasi dan mendistorsi peringkat mereka. Salah satu kekurangan yang umum terjadi pada US News dan mereka yang akan menggantikannya adalah pemujaan terhadap perbedaan kecil dalam penempatan yang tidak mencerminkan perbedaan substansi yang sebenarnya. Dalam pandangan saya, informasi ini lebih buruk daripada sepele: secara aktif menyesatkan.
Peringkat FLAIR menggunakan data kutipan objektif yang lebih valid dan andal daripada survei US News, dan tidak seperti peringkat Sisk, FLAIR memberi setiap sekolah hukum terakreditasi ABA kesempatan untuk mempertimbangkan pekerjaan fakultasnya. Jelas, jauh lebih adil untuk menilai setiap sekolah daripada secara sewenang-wenang mengecualikan beberapa berdasarkan intuisi (intuisi yang terbukti salah pada saat itu) bahwa sekolah tertentu tidak memiliki peluang untuk memberi peringkat X% teratas. Yah, setidaknya jelas bagi saya. Tapi mungkin yang lebih penting, melihat semua data memberi kita konteks yang valid untuk menilai poin data individual. Pemeringkatan FLAIR dirancang untuk menyampaikan perbedaan yang relevan tanpa memberikan penekanan yang tidak semestinya pada perbedaan kecil dalam peringkat yang secara substantif tidak penting. Ini bertentangan dengan mentalitas pacuan kuda yang mendorong begitu banyak minat pada Berita AS, tetapi saya di sini bukan untuk menjual apa pun.
Apa perbedaan yang relevan?
Pemeringkatan FLAIR menugaskan fakultas hukum ke empat tingkatan terpisah berdasarkan pada bagaimana rata-rata dan median kutipan lima tahun dihitung dibandingkan dengan standar deviasi rata-rata dan media dari semua fakultas. Tier 1 terdiri dari fakultas-fakultas yang memiliki lebih dari satu standar deviasi di atas rata-rata, Tier 2 adalah antara nol dan satu standar deviasi di atas rata-rata, Tier 3 berkisar dari rata-rata hingga setengah standar deviasi di bawahnya, dan Tier 4 mencakup semua sekolah lebih dari setengah standar deviasi di bawah rata-rata. Dengan kata lain, sekolah Tingkat 1 luar biasa, sekolah Tingkat 2 di atas rata-rata, Sekolah Tingkat 3 di bawah rata-rata, dan Sekolah Tingkat 4 jauh di bawah rata-rata.
https://taxprof.typepad.com/taxprof_blog/2023/06/forward-looking-academic-impact-rankings-for-all-us-law-schools.html