在记谱法尚未问世的时代，欧洲的音乐都是靠口头传授的。在祭祀舞蹈进行中，领头的歌手成了最早的指挥，他为了向众歌手提示旋律的进行方向，便用手在空中“画”出旋律线来。指挥的功能主要是给大家指出旋律的由低音到高音，或由高音到低音的进行。这种指挥法当时被称为“手势术”。然而这种“手势术”既不方便又不准确，于是线谱应运而生，并逐步完善。
希腊时代的指挥，有的人用脚，也有的人用头；有的人喜欢用单手指挥，也有的人惯用双手指挥；有人将手绢系在木棒上指挥，也有人在风琴旁边钉上一块铁板敲着指挥的。
专职的指挥大约出现在19世纪前，那时候，指挥合唱队的人手里拿着一卷谱纸，依照歌曲的旋律而挥动。这卷谱纸当时被称为“梭法”。指挥乐队的人则大多数使用铁质手杖敲击地板。1867年，法国音乐家卢在利一次为法王路易十四的演奏中，由于他指挥时忘乎所以，竟误将铁杖击伤脚背，不治而死。于是，人们便淘汰了这种可怕的指挥方式。直到1894年，德国作曲家威柏首先创用了指挥棒，被音乐界大为赏识，逐步推广开来，沿用至今。从此，指挥超越了简单的“划拍子”的原始阶段而跨进了比较严谨和缜密的新阶段。有了音乐指挥，可随时启发演唱者的感情和调整整个演唱气氛。使乐曲显得有声有色，多彩多姿。