“集邮”一词，最早出现于1864年。而集邮活动，则于1840年英国发行世界上第一枚邮票后不久便开始了。
1842年，伦敦《泰晤士报》刊登了一位少女征购旧邮票的广告。据说她收到一万六千余枚邮票，用来进行室内装饰。这恐怕是世界上最早的有据可查的集邮活动。19世纪50年代以后，发行邮票的国家渐多。1852年，比利时首都布鲁塞尔举办了世界上第一次邮展。1856年，英国已有集邮商店。60年代后，集邮书刊与集邮团体纷纷问世，集邮成为一项流行的文化娱乐活动。
我国自1878年发行第一套邮票后，次年即有人在上海《申报》上刊登收购“信封老人头”（即邮票）的广告。1880年，上海《花图新报》刊出《各国印馆之信图》，为我国第一篇关于集邮的文章。辛亥革命后，集邮爱好者逐渐增多。1922年，我国第一部集邮专着《集邮须知》问世了。不过，在解放前，一般群众还很难问津。解放后，集邮活动才逐渐普及。1955年，中国集邮公司成立，同年创刊《集邮》杂志。