Usaha ke arah menubuhkan satu Lembaga Perpustakaan Negara dengan kuasa eksekutif telah digerakkan oleh The Malayan Library Group melalui satu memorandum yang telah dikemukakan pada tahun 1956. Mulai 1962, Yayasan Lee telah memulakan tabung Perpustakaan Negara dengan sumbangannya sebanyak RM500,000.00.

Berikutan itu, laporan kajian telah disediakan oleh Arkib Negara dan Jawatankuasa Perpustakaan Negara telah diluluskan penubuhannnya pada 1966 dengan pengerusi pertamanya Tan Sri Jamil Rais, Setiausaha Tetap Jabatan Perdana Menteri.

Perpustakaan Negara Malaysia telah ditubuhkan sebagai sebuah unit bawah Arkib Negara untuk melaksanakan Akta Pemeliharaan Buku-buku 1966 dan ditempatkan di Bangunan Persekutuan, Petaling Jaya.

Pada tahun 1972 melalui Akta Perpustakaan Negara Malaysia 1972, perkhidmatannya telah diperluaskan untuk meliputi perkhidmatan rujukan dan beroperasi di Tingkat 6, Bangunan UMBC di Kuala Lumpur.

Statusnya sebagai sebuah Jabatan Kerajaan Persekutuan telah diperolehi dalam tahun 1977. Setelah menduduki beberapa premis ke arah menyediakan perkhidmatannya kepada awam, Perpustakaan Negara Malaysia telah pertama kalinya mendapat bangunannya sendiri di Jalan Tun Razak yang telah dirasmikan pada 16 Disember 1994.