据摩崖石刻《成吉思汗石文》记载，那达慕大会起源于蒙古汗国建立初期。1206年，成吉思汗被推举成为蒙古大汗时，为了加强各部族之间的凝聚力、检阅自己的部队和分配各部草场，便于农历六月初四举行了“大忽力革台”（大聚会）。各个部落的首领欢聚一堂，表示团结忠诚，并且一同庆祝在大自然的庇护下这一年的牧群兴旺繁盛，是历史上有记载的首次那达慕大会。
那达慕大会的前身是祭敖包。敖包是蒙古语，意为堆子（用石头、土、草等堆成，做路标或界标），又名“鄂博”。祭敖包是蒙古族人民自古流传下来的宗教习俗，是蒙古族最重要的祭祀活动。它是蒙古族人为了纪念发祥地额尔古纳山林而流传下来的一种习俗，表达了族人对本族祖地的眷恋和对祖先的崇敬怀念之情。每年水草丰美之时（各部落时间不同，所以祭敖包通常在农历五月下旬至八月间），蒙古族人民都会举行祭敖包的宗教活动。
敖包是在一片地势开阔、景色壮美的山地高处用石头堆起的一座半圆形石堆，顶端竖立一根系着写有经文的布条或者是牲畜羽毛或角的长杆。待到了祭敖包的日子，牧民们一定会携带着哈达、煮熟的牛羊肉、奶酒和奶制品赶来，在敖包前上供、祭祀、祷告，祈求今年风调雨顺、人畜平安。条件允许的情况下，还会请来喇嘛燃香诵经祭祀。祷告完毕，众人再次跪拜起身后纷纷往敖包上添加新石或者柳条以修补敖包，或者悬挂新的经幡、五色绸布条等。最后凡是参加祭祀仪式的人都要围着敖包，按照从左向右的方向绕敖包三圈，并将带来的奶酒、奶制品、点心等向敖包抛洒。在祭祀活动之后，人们会举行传统的赛马、射箭、摔跤活动。彼此产生好感的男女青年可以乘人不备悄悄溜出相会，这便是所谓“敖包相会”了。