Lahirnya Perpustakaan Umum Daerah Kabupaten Sumedang yaitu dimulai pada tahun 1980 dengan nama Taman Pustaka Masyarakat Tipe B (Kabupaten) yang berada dibawah Dinas Pendidikan dan Kebudayaan yang beralamat di Jln. Sukarame Sumedang, kemudian pada tahun 1996 berdasarkan Peraturan Daerah Kabupaten Daerah Tingkat II Sumedang Nomor 30 tahun 1996 tentang Pembentukan Perpustakaan Umum Daerah Kabupaten Daerah Tingkat II Sumedang dan ditetapkan pada tanggal 4 Oktober 1996 oleh Drs. H. Moch. Husein Jachjasaputra sebagai Bupati Kepala Daerah Tingkat II Sumedang terbentuklah Kantor Perpustakaan Umum Daerah Tingkat II Sumedang yang beralamat di Jln. Kebon Kol No. 20 Sumedang. Dengan Struktur Organisasi dan Tata Kerja Perpustakaan Umum Daerah Kabupaten Daerah Tingkat II Sumedang ditetapkan berdasarkan Peraturan Daerah Tingkat II Sumedang Nomor 31 tahun 1996.
Kemudian pada tahun 2000 Kantor Perpustakaan Umum Daerah Kabupaten Tingkat II Sumedang berubah menjadi Kantor Arsip dan Perpustakaan Kabupaten Sumedang berdasarkan Peraturan Daerah Nomor 49 tahun 2000 dan Keputusan Bupati Sumedang Nomor 30 tahun 2001, tentang Organisasi dan Tata Kerja Kantor Arsip dan Perpustakaan Umum Daerah Kabupaten Sumedang yang beralamat di Jln. Pangeran Santri dan pada tahun 2003 pindah ke Jln. Mayor Abdurrahman No. 185 Sumedang.
Selanjutnya, pada tahun 2006 berdasarkan Peraturan Daerah Kabupaten Sumedang Nomor 7 tahun 2006 tentang Pembentukan Organisasi Perangkat Daerah Kabupaten Sumedang Kantor Arsip dan Perpustakaan berubah menjadi UPTD Perpustakaan Dinas Pendidikan. Pada tahun 2008 berdasarkan Peraturan Daerah Kabupaten Sumedang Nomor 8 tahun 2008 tentang pembentukan Organisasi Perangkat Daerah maka UPTD Perpustakaan berubah menjadi Kantor Perpustakaan Daerah Kabupaten Sumedang yang beralamat di Jln. Mayor Abdurrahman No. 185 Sumedang.
