考古工作者在浙江余姚县河姆渡遗址出土了一些用鸟禽类的肢骨制作的笛子，距今约七千年。这些笛子虽然制作得粗拙简陋，但有的还可发出简单的音调。这就是远古人使用的吹奏乐器——骨笛。
从原始时代到夏商时期，我国的乐器主要是打击乐器和吹奏乐器两类，如土鼓、磬、缶、钟、骨哨等，都是用天然材料所制成。到了商代，出现了很多用青铜制作的乐器，在性能和工艺上已大大高于原始乐器。
西周时期，乐器的种类增多，仅见于古籍中记载的就有七十多种，如编钟、编磬、箫、笙等。弹弦乐器也在这时出现，但较为简单，发音单调。到了春秋战国，乐器的发展较快，出现了弹拨乐器筝，吹奏乐器竽等；旧有的乐器如编钟在研制、性能方面也都为此前任何编钟所无法比拟。在湖北随州出土的曾侯乙编钟，共八组六十四件，总重量达2500多公斤，音阶准确，音域宽广，音色优美。每钟可发出相距三度的两个音，总音域达五个八度，其精湛的工艺水平深为现代人所惊叹。
秦汉时期出现了排箫、羌笛、笳、箜篌、琵琶等。到了隋唐时期，乐器的品种愈加增多，据唐段安节《乐府杂录》载，共有三百余种。拉弦乐器在此时也开始出现，如奚琴，有两条弦，用竹片在两弦间摩擦发音，这恐怕就是胡琴的前身了。
宋代的乐器又有自身的特点，一是产生了多种多样的吹奏乐器，二是拉弦乐器开始得到重视，如马尾琴已经得到广泛的运用、流行。元、明、清以后的乐器更加多样，性能也更为完备，特别是西洋乐器的传入，又为我国乐器的发展注入了新的血液，使我国古代乐器呈现出更加多姿多彩的面貌。