祖冲之，429年（南朝宋元嘉六年）出生于建康（今南京），祖籍范阳郡遒县（今河北涞水县）。西晋末期，北方发生大规模战乱，祖冲之的先辈从河北迁徙到江南，并在江南定居下来。祖冲之就出生在江南，其祖父祖昌任刘宋朝大匠卿，是朝廷管理土木工程的官吏，父亲祖朔之做“奉朝请”，学识渊博，常被邀请参加皇室的典礼、宴会。
祖冲之从小就受到很好的家庭教育。爷爷给他讲“斗转星移”，父亲领他读经书典籍，家庭的熏陶，耳濡目染，加之自己的勤奋，使他对自然科学和文学、哲学，特别是天文学产生了浓厚的兴趣，在青年时代就有了博学的名声。
早年经历
祖冲之曾在着作中自述说，从很小的时候起便“专功数术，搜烁古今”。他把从上古时起直至他生活的时代止的各种文献、记录、资料，几乎全都搜罗来进行考察。同时，主张决不“虚推古人”，决不把自己束缚在古人陈腐的错误结论之中，并且亲自进行精密的测量和仔细的推算。像他自己所说的那样，每每“亲量圭尺，躬察仪漏，目尽毫厘，心穷筹策”。
由于祖冲之博学多才的名声，被南朝宋孝武帝派至当时朝廷的学术研究机关华林学省做研究工作，后来又到总明观任职。当时的总明观是全国最高的科研学术机构，相当于现在的中国科学院。总明观内分设文、史、儒、道、阴阳5门学科，实行分科教授制度，请来各地有名望的学者任教，祖冲之就是其一。在这里，祖冲之接触了大量国家藏书，包括天文、历法、术算方面的书籍，具备了借鉴与拓展的先决条件。
潜心科学
461年（南朝宋大明五年），祖冲之担任南徐州（今江苏镇江）刺史府里的从事，先后任南徐州从事吏、公府参军。祖冲之在这一段期间，虽然生活很不安定，但是仍然继续坚持学术研究，并且取得了很大的成就。
462年（南朝宋大明六年），祖冲之把精心编成的《大明历》送给宋孝武帝请求公布实行，宋孝武帝命令懂得历法的官员对这部历法的优劣进行讨论，最终，宋孝武帝决定在大明九年（465年）改行新历。
464年（南朝宋大明六年），祖冲之被调到娄县（今江苏昆山县东北）作县令。之后又到建康（今江苏南京），担任谒者仆射的官职。从这时起，一直到南朝齐初年，他花了较大的精力来研究机械制造，重造出了用铜制机件传动的指南车，发明了一天能走百里的“千里船”和“木牛流马”、水碓磨（利用水力加工粮食的工具），还设计制造过漏壶（古代计时器）和巧妙的欹器。
晚年生活
祖冲之的晚年，正值南齐后期，统治阶级内部矛盾尖锐，政治黑暗，社会动荡不安。在这种情况下，祖冲之的研究方向有了很大的变化。他着重研究文学和社会科学，同时也比较关心政治。
494年（南朝齐隆昌元年）到498年（南朝齐建武五年）之间，他担任长水校尉的官职。当时他写了一篇《安边论》，建议政府开垦荒地，发展农业，增强国力，安定民生，巩固国防。齐明帝看到后想令他“巡行四方，兴造大业，可以利百姓者”，后因南齐的统治已经无法再维持下去。国家政权摇摇欲坠，再加上南北朝之间的连年战争，祖冲之良好的政治主张无法在国家内部施行，更无法实现了。
500年（南朝齐永元二年），这位卓越的大科学家去世，享年七十二岁。他的天文历法心血之作《大明历》在510年（梁武帝天监九年）才以《甲子元历》之名颁行。