Perpustakaan Universitas Ibrahimy merupakan bagian dari Perpustakaan Pondok Pesantren Salafiyah Syafi’iyah Sukorejo yang lebih dikenal dengan Perpustakaan Ibrahimy. Semula bertempat di gedung sebelah utara Masjid Jami’ Ibrahimy (sekarang Laboratorium IPA), kemudian pindah di lantai II gedung waserda & kantin (sekarang Lembaga Bahasa; ESA & LPBA). Pada awalnya Perpustakaan Insitut Agama Islam Ibrahimy kala itu masih tersebar di masing-masing fakultas: Fakultas Syari’ah, Fakultas Tarbiyah dan Fakultas Dakwah. Karena tuntutan perkembangan sistem serta mekanisme pengelolaan perguruan tinggi, dalam hal ini yang ada dibawah naungan kopertais, menuntut adanya perubahan pada pengelolaan institut untuk mengadakan perpustakaan sebagai kebutuhan pemenuhan standard pengelolaan perguruan tinggi sebagaimana mekanisme Koordinator Perguruan Tinggi Islam. Perpustakaan IAII perlu didirikan sebagai salah satu syarat keberlangsungan pengelolaan Institut. Akan tetapi keterbatasan koleksi yang ada serta anggaran yang tersedia sangat minim untuk membangun perpustakaan dari nol.
Perpustakaan IAII perlu didirikan sebagai salah satu syarat keberlangsungan pengelolaan Institut. Akan tetapi keterbatasan koleksi yang ada serta anggaran yang tersedia sangat minim untuk membangun perpustakaan dari nol. Oleh karena itu pada tanggal 18 Mei 1997 Perpustakaan Ibrahimy yang ada saat itu dipisah menjadi dua: Perpustakaan Pesantren dan Perpustakaan Institut Agama Islam Ibrahimy (IAII). Sebagai tambahan koleksi maka Perpustakaan IAII menghimpun koleksi dari seluruh Perpustakaan di masing-masing fakultas. Sejak saat itulah dengan sendirinya perpustakaan fakultas dinyatakan tersentral ke Perpustakaan IAII, segala yang menjadi kebutuhan (pustaka) fakultas harus disediakan Perpustakaan IAII.
Kemudian pada tanggal 28 Januari 2000 Perpustakaan IAII direlokasi ke lantai II gedung Perpustakaan yang baru dibangun bersebelahan dengan kampus.Sedangkan Perpustakaan Pesantren menempati lantai I pada gedung yang sama. Secara ceremonial gedung perpustakaan diresmikan oleh Menteri Riset dan Teknologi Dr. Muhammad AS. Hikam pada tanggal 17 Oktober 2000.
Perpustakaan IAII dalam perkembangannya mengalami perubahan dan pembenahan, terutama yang berkaitan dengan pengelolaan data koleksi dan sistem pelayanan.