Primele mărturii despre Biblioteca Vaticanului sunt consemnate în secolul al IV-lea, când este menționată atât o bibliotecă, cât și o arhivă a papilor de la Vatican, dar funcția de “bibliotecar al Bisericii Romane” a apărut, se pare, abia la sfârșitul secolului al VIII-lea, primul titlu fiindu-i oferit bibliotecarului Theophylactus, nume menționat într-un document datat în anul 784, în timpul pontificatului papei Adrian I.
Cea mai veche bibliotecă a papilor au fost dispersată, din motive care nu sunt bine cunoscute, în prima jumătate a secolului al XIII-lea, iar colecțiile noi de manuscrise ajunse în Biblioteca Vaticanului în a doua parte a secolului al XIII-lea, ale căror descrieri existau într-un inventar realizat sub pontificatul papei Bonifaciu al VIII-lea (1294-1303) au fost mutate, după moartea sa, mai întâi la Perugia, apoi la Assisi și, în final, la Avignon, dar au fost menționate pierderi importante pe acest traseu.
La Avignon, Ioan al XXII-lea (1316-1334) a început să adune o nouă bibliotecă, o parte a acesteia ajungând în colecția familiei Borghese în secolul al șaptesprezecelea și de acolo înapoi la Sfântul Scaun în 1891.
Începând cu mijlocul secolului al XIV-lea, după ce papii s-au întors la Roma (Grigore XI în 1378), se poate spune că a început istoria modernă a Bibliotecii Vaticanului.
Nicolae al V-lea (1447-1455) a decis că manuscrisele latine, grecești și evreiești, al căror număr crescuse de la 350 la aproximativ 1200 în timpul pontificatului său, ar trebui să fie puse la dispoziția savanților și cercetătorilor. Pentru că la acel moment biblioteca avea o singură sală de lectură, el a fost cel care a gândit o suplimentare a spațiilor destinate cititorilor, iar proiectul de extindere a fost finalizat de papa Sixtus al IV-lea care l-a numit ca bibliotecar pe Bartolomeo Platina, pe care l-a însărcinat să se ocupe în mod special de această misiune și căruia i-a oferit sprijinul financiar necesar.
Noua instituție a fost găzduită la parterul unei clădiri care avea patru săli de lectură: Bibliotheca Latina și Bibliotheca Graeca (pentru lucrări în aceste două limbi), Bibliotheca Secreta (pentru manuscrise care nu erau direct accesibile cititorilor, inclusiv anumite manuscrise prețioase) și Bibliotheca Pontificia (pentru arhivele și registrele papale). Biblioteca avea trei asistenți și un bibliotecar-șef, iar cărțile puteau fi citite doar în sălile de lectură, conform reglementărilor impuse de papă, rareori putând fi făcute și împrumuturi, așa cum arată registrele cărților din anii 1475-1547. Colecția Vaticanului a continuat să crească, de la un total de 2.527 de manuscrise în 1475 până la 3.498 în 1481.
În secolul al XVI-lea, papa Leo al X-lea (1513-1521) a făcut achiziții sistematice de manuscrise și cărți tipărite, iar în timpul lui Grigore al XIII-lea (1572-1585), materialele de arhivă au început să fie separate de cele curente, acestea din urmă fiind încredințate unei instituții separate, Arhivele Secretelor Vaticanului, în timpul papei Paul V (1605-1621).
Între 1587 și 1589, când spațiul inițial devenise prea mic pentru colecțiile în continuă creștere, papa Sixtus V (1585-1590) a decis să construiască noi spații pentru Bibliotecă. Noul depozit avea la etajul superior o cameră mare, decorată cu două nave cunoscute sub numele de Salone Sistino.
În secolul al XVII-lea, în colecție au început să fie integrate biblioteci întregi, unele dintre ele de origine privată, formând colecții speciale: biblioteca palatină din Heidelberg (1623), biblioteca ducilor de Urbino (1657) și colecția reginei Christina a Suediei (1690).
O caracteristică a secolului al XVIII-lea a fost apariția în Biblioteca Vaticanului a colecțiilor de antichități și opere artistice. Departamentul Numismatic al Vaticanului a fost inaugurat în 1738, în momentul achiziționării colecției de monede și medalii grecești și romane adunate de Cardinalul Alessandro Albani, care, la acea vreme, era cea mai mare colecție din lume după cea a regelui Franței. Au urmat alte achiziții importante: Biblioteca Capponi a fost cumpărată în anul 1746 și Biblioteca Ottoboni, în 1748.
În 1757 a fost creat Muzeul Sacro (Muzeul Sacru) prin combinarea a trei colecții importante și a fost îmbogățit constant cu diverse artefacte creștine timpurii care proveneau din catacombele romane. În 1767, separarea artefactelor seculare de cele religioase a dus la crearea Muzeului secular (Museo Profano). Ambele muzee aparțin astăzi Muzeelor Vaticanului, iar în 1785 a fost înființată colecția de gravuri (Gabinetto delle Stampe).
În 1798-99 și în 1809, Roma a fost invadată de armata franceză, iar evenimentele au dus la pierderi considerabile din patrimoniul Bibliotecii Vaticanului, inclusiv la nivelul colecției numismatice.
În 1809, când Roma a fost anexată la Imperiul Francez, Biblioteca Vaticanului a devenit Bibliotecă Națională și a fost îmbogățită cu colecțiile ordinelor religioase. Între anii 1825 și 1855, colecția de cărți tipărite a primit și volumele adunate de Leopoldo Cicognara, care conțineau inclusiv cărți de artă și multe antichități.
Sub papa Leo XIII (1878-1903), Biblioteca a fost deschisă unui public mai larg de cercetători și istorici, în anul 1892 fiind inaugurată actuala sala de lectură pentru cărți tipărite, multe dintre volume s-au aflat începând din acest moment pe rafturi deschise, iar programul de acces pentru cititori a fost prelungit.
În 1902, Biblioteca Vaticanului a cumpărat Biblioteca Barberini, o colecție de peste 11.000 de manuscrise latine, grecești și orientale și peste 36.000 de cărți tipărite și, în același an, Biblioteca de manuscrise și cărți tipărite care aparținea Congregației Sacre de Propaganda Fide a devenit și ea parte a Bibliotecii Vaticanului.
Perioada care a urmat Primului Război Mondial a adus noi achiziții importante. Biblioteca Vaticanului a primit colecția bibliofilului Francesco De Rossi, care avea peste 1.200 de manuscrise și aproximativ 6.000 de cărți rare, inclusiv 2.500 de incunabule, și în 1923 a fost integrată colecția Chigi, urmată de Arhivele Chigi, în 1944.
În timpul celui de-al Doilea Război Mondial, Biblioteca a rămas închisă timp de aproximativ un an de teama posibilelor distrugeri, iar la începutul anilor 1950 majoritatea manuscriselor au fost microfilmate.
Biblioteca Vaticanului deține astăzi peste 180.000 de manuscrise (inclusiv 80.000 de unități de arhivă), 1.600.000 de cărți tipărite, peste 8.600 de incunabule, peste 300.000 de monede și medalii, 150.000 de desene și gravuri și peste 150.000 de fotografii.