晋元帝即位的第二年，匈奴族的汉国国主刘聪病死。汉国内部也发生分裂。刘聪的侄儿刘曜接替了国主的地位。他觉得用汉朝的名义并不能欺骗人民，在公元３１９年，改国号为赵。汉国大将石勒在反晋战争中扩大了兵力，不愿再受刘曜的统治，也自称赵王。
石勒是羯族人，他家世代是羯族部落的小头目。年轻的时候，并州地方闹饥荒，他和部落失散了，曾经给人家做过奴隶、佣人。有一次，石勒被乱兵捉住，关在囚车里。正好他的囚车旁边有一群鹿跑过。乱兵纷纷去追捕鹿群，石勒才趁机会逃走。
石勒受尽苦难，没有出路，就招集一群流亡的农民，组成了一支强悍的队伍。刘渊起兵以后，石勒投降汉国，在刘渊部下当了一员大将。
羯族人的文化比匈奴人要低。石勒从小没有像刘渊那样受过汉族文化教育，不识字。他担任大将以后，渐渐懂得要成大事业，光靠武力不行，就依靠一个汉族士人张宾，采取了许多政治措施。他还收留了一批北方汉族中的贫苦的读书人，组织了一个“君子营”。
由于石勒骁勇善战，加上有了张宾一批谋士帮他出谋划策，石勒的势力更加强大。到了公元３２８年，终于消灭了刘曜。过了两年，石勒在襄国自称皇帝，国号仍是赵。历史上把刘氏的赵国称为“前赵”，把石勒建立的赵国称为“后赵”。
石勒自己没有文化，但是却十分重视读书人。他做了后赵皇帝后，命令部下，凡捉到读书人，不许杀死，一定要送到襄国来，让他自己处理。
他听从张宾的意见，设立学校，要他部下将领的子弟进学校读书。他还建立了保举和考试的制度。凡是各地保举上来的人经过评定合格，就选用他们做官。
石勒严禁部下提到“胡”字、“羯”字。但是为了安抚汉族士人，有时候也没有执行禁令。
有一次，有个汉族官员樊坦被任用做官。樊坦进宫朝见的时候，穿了一身破破烂烂的衣服。石勒吃惊地问他：“你怎么穷到这步地？”