藏书之举，起源甚早，大约可以上溯到周代。周朝设“史”这一官吏，专门掌管四方之志，三皇五帝之书。
汉代设立国家藏书馆，其中有专门抄写书籍的人员，并定出标准本。汉朝的兰台、石室、麒麟阁都是藏书的地方。随着造纸和印刷术的发明和运用，刻书业日益发展，藏书也越来越丰富。南朝梁武帝时，仅文德殿藏书就有二万三千多卷。唐玄宗特设修书院，专掌抄校书籍，在长安抄写了五万一千多卷书。明清时代，国家藏书更是规模宏大。与此同时，私人藏书也开始发展起来，明代范钦的藏书楼“天一阁”，是我国现存最古老的私人图书馆，始建于嘉靖末年，原有藏书七万多卷。
藏书日益增多，对图书的整理、分类、汇编、辑佚等便应运而生。汉代学者刘向、刘歆父子编定的我国历史上第一部图书分类目录《七略》，这也是世界上最早的图书目录之一。
在我国，开始有现代意义的图书馆，约在清代光绪年问，正式公文上出现图书馆这一名词则是在宣统元年（1909年）。