Gagasan pembentukan lembaga yang mempunyai fungsi-fungsi tertentu dalam ranah kekuasaan kehakiman sebenarnya sudah ada sejak pembahasan RUU Ketentuan-Ketentuan Pokok Kekuasaan Kehakiman di tahun 1968. Saat itu sempat diusulkan pembentukan Majelis Pertimbangan Penelitian Hakim (MPPH). Majelis ini diharapkan berfungsi memberikan pertimbangan dan mengambil keputusan terakhir terkait pengangkatan, promosi, kepindahan, pemberhentian, dan hukuman jabatan untuk para hakim yang diajukan oleh Mahkamah Agung maupun oleh Menteri Kehakiman. Namun, ide tersebut tidak berhasil menjadi materi UU No. 14 Tahun 1970 tentang Ketentuan-Ketentuan Pokok Kekuasaan Kehakiman. Gagasan ini kemudian kembali mencuat saat reformasi di tahun 1998.
 
Melalui Amendemen Ketiga UUD NRI Tahun 1945 pada tahun 2001 disepakati tentang pembentukan Komisi Yudisial yang diatur secara khusus dalam Pasal 24B ayat (1) UUD 1945. Semangat pembentukan Komisi Yudisial disandarkan pada keprihatinan mengenai kondisi wajah peradilan yang muram dan keadilan di Indonesia yang tak kunjung tegak.
 
Komisi Yudisial memiliki dua kewenangan konstitutif, yaitu untuk mengusulkan pengangkatan hakim agung dan mempunyai wewenang lain dalam rangka menjaga dan menegakkan kehormatan, keluhuran martabat, serta perilaku hakim. Selanjutnya, dalam rangka mengoperasionalkan keberadaan Komisi Yudisial, maka dibentuk UU No. 22 Tahun 2004 tentang Komisi Yudisial pada 13 Agustus 2004.
 
Selanjutnya Pemerintah membentuk panitia untuk melakukan seleksi calon Anggota Komisi Yudisial Periode 2005-2010. Kemudian terpilih tujuh Anggota Komisi Yudisial Periode 2005-2010, yaitu M. Busyro Muqoddas, S.H., M.Hum, M. Thahir Saimima, S.H, Prof. Dr. Mustafa Abdullah, S.H., M.H, Irawady Joenoes, S.H, Zainal Arifin, S.H, Prof. Dr. Chatamarrasjid Ais, S.H., M.H, dan Soekotjo Soeparto, S.H., LL.M. Selanjutnya pada 2 Agustus 2005, tujuh Anggota Komisi Yudisial mengucap sumpah di hadapan Presiden RI sebagai awal memulai masa tugasnya. Ketua Komisi Yudisial periode 2005-2010 dijabat oleh M. Busyro Muqoddas, S.H., M.Hum dengan Wakilnya M. Thahir Saimima, S.H. 
 
Namun dalam perjalanan tugasnya, Komisi Yudisial mengalami dinamika. Antara lain pengujian terhadap Undang-Undang Nomor 22 Tahun 2004 ke Mahkamah Konstitusi oleh sejumlah hakim agung. Melalui Putusan Mahkamah Konstitusi Nomor 005/PUU-IV/2006, beberapa kewenangan dalam pengawasan hakim dan hakim Mahkamah Konstitusi tidak berlaku.
 
Pada tanggal 20 Desember 2010 masa jabatan Anggota Komisi Yudisial Periode 2005-2010 berakhir dan digantikan oleh Anggota Komisi Yudisial Periode 2010-2015. Ketujuh Anggota Komisi Yudisial Periode 2010-2015 mengucapkan sumpah di hadapan Presiden di Istana Negara. Para Anggota Komisi Yudisial tersebut adalah Prof. Dr. H. Eman Suparman, S.H., M.H, Dr. H. Imam Anshori Saleh, S.H., M. Hum, Dr. Taufiqurrohman S, S.H., M.H, Dr. Suparman Marzuki, S.H., M. Si, Dr. H. Abbas Said, S.H., M.H, Dr. Jaja Ahmad Jayus, S.H., M. Hum, dan Dr. Ibrahim, S.H., M.H., LL. M. Kemudian Prof. Dr. H. Eman Suparman, S.H., M.H terpilih sebagai Ketua dan Dr. H. Imam Anshori Saleh, S.H., M. Hum terpilih sebagai Wakil Ketua. Pada periode ini dilakukan upaya untuk merevisi UU No.22 Tahun 2004. Usaha tersebut membuahkan hasil dengan dikeluarkannya UU No. 18 Tahun 2011 tentang Perubahan atas Undang-Undang Nomor 22 Tahun 2004 tentang Komisi Yudisial. Perubahan undang-undang ini berpengaruh terhadap penguatan wewenang dan tugas Komisi Yudisial.
 
Berdasarkan Pasal 6 ayat (2) Peraturan Komisi Yudisial Nomor 1 Tahun 2010 tentang Tata Cara Pemilihan Pimpinan Komisi Yudisial, masa jabatan Ketua dan Wakil Ketua Komisi Yudisial dijalankan selama 2 tahun 6 bulan dan dapat dipilih kembali untuk 2 tahun dan 6 bulan berikutnya. Setelah itu diadakan pemilihan kembali secara terbuka dan demokratis, terpilihlah Dr. Suparman Marzuki, S.H, M. Si, sebagai Ketua dan Dr. H. Abbas Said, S.H., M.H sebagai Wakil Ketua untuk Paruh Waktu Kedua Periode 2010-2015.
 
Pimpinan dan Anggota Komisi Yudisial Periode 2010-2015 ini mengakhiri masa tugasnya pada 18 Desember 2015 dan diteruskan oleh Anggota Komisi Yudisial Periode 2015-2020. Lima Anggota Komisi Yudisial Periode 2015 – 2020, yaitu Drs. H. Maradaman Harahap, S.H., M.H., Dr. Sumartoyo, S.H., M.Hum., Dr. Joko Sasmito, S.H., M.H., Sukma Violetta, S.H., LL.M., dan Dr. Farid Wajdi, S.H., M.Hum. mengucap sumpah di hadapan Presiden Joko Widodo di Istana Negara, Jakarta, pada Jumat, 18 Desember 2015. Kemudian menyusul dua Anggota Komisi Yudisial lainnya, yaitu Prof. Dr. Aidul Fitriciada Azhari, S.H., M.Hum dan Dr. Jaja Ahmad Jayus, S.H., M.Hum mengucap sumpah di hadapan Presiden Joko Widodo di Istana Negara, Jakarta, Jumat, 12 Februari 2016.
 
Pada paruh waktu pertama ini, Prof. Dr. Aidul Fitriciada Azhari, S.H., M.Hum terpilih sebagai Ketua Komisi Yudisial dan Sukma Violetta, S.H., LL.M. sebagai Wakil Ketua Komisi Yudisial. Kemudian Pimpinan Komisi Yudisial Paruh Kedua Periode 2015-2020 adalah Dr. Jaja Ahmad Jayus, S.H., M.Hum sebagai Ketua Komisi Yudisial dan Drs. H. Maradaman Harahap, S.H., M.H. sebagai Wakil Ketua Komisi Yudisial.
 
Estafet kepemimpinan Komisi Yudisial diteruskan saat Anggota Komisi Yudisial masa jabatan tahun 2020-2025 melakukan pembacaan sumpah disaksikan Presiden Joko Widodo pada Senin (21/12) di Istana Negara, Jakarta. Pengangkatan tersebut berdasarkan Keputusan Presiden Republik Indonesia Nomor 131/P tahun 2020 tentang Pemberhentian dengan Hormat Anggota Komisi Yudisial Masa Jabatan Tahun 2015-2020 dan Pengangkatan Anggota Komisi Yudisial Masa Jabatan Tahun 2020-2025. 
Anggota Komisi Yudisial Periode 2020-2025, yaitu: Drs. H. M. Taufiq HZ M.H.I., Dr. Joko Sasmito, S.H., M.H., Sukma Violetta, S.H. LL.M., Binziad Kadafi, S.H.,  LL.M, Ph.D,  Prof. Amzulian Rifai, S.H., LL.M,  Ph.D, Prof. Dr. Mukti Fajar Nur Dewata, S.H., M.Hum. dan Dr. Siti Nurdjanah, S.H., M.H.