在中国古代的许多典籍里，有“刑始于兵”，“师出以律”的记载，“兵律”、“军律”等军法也有许多专篇。特别是到了唐代出现了一套完整的包括“律”、“令”、“格”、“式”俱全的军法，如《卫禁律》、《擅兴律》、《捕亡律》、《官卫令》、《军防令》、《兵部式》、《兵部格》等，详细地规定了军人的职守、赏罚。凡是违犯了“令”、“式”中的有关规定，就要按“律”、“格”进行惩处。而最早的军法出于何时呢？还是一个谜。
军法是治军的法规，它是统治阶级意志的表现，具有阶级性、强制性。在中国的原始社会，由于那时处在公有制和军事民主时期，战争的胜败直接关系到部落的每个成员的生死存亡，作战时常常都是男女老幼志愿参加，不需要用带有强迫性的军法来进行约束。随着私有制的产生，阶级的形成，氏族制度的瓦解和奴隶制国家的建立，战争开始成为争夺政权和巩固政权的斗争，原始社会时期军事民主制下的群众武装，开始蜕变为由奴隶主操纵的、专为压迫大多数人和掠夺财物的、夺取和维护奴隶主政权的军队。这时，战争的胜败，直接关系到奴隶主贵族的切身利益。而对于军队的大多数成员——平民和奴隶——来说，则关系甚小，他们对待战争的态度没有贵族那样积极。为了鼓励参战，提高军队的士气，便出现了带有强制性的各种行为规则和明确的赏罚规定。对立功的军人，按圣旨或军律赏赐钱财、官爵、田地、奴仆，对违犯纪律和军律的官兵，处以杀戮、鞭打、徒刑等处罚。如《尚书。甘誓》中记载：夏王启，为了确立其统治地位与有扈氏大战于甘（今陕西户县西南）时，在战前，召集了带领军队的六个贵族，进行战前动员和宣布作战纪律、赏罚标准。规定凡是服从命令，忠于职守、勇敢战斗、努力完成作战任务的，就在宗庙里予以奖赏；不努力执行命令，完不成作战任务的，就要杀死在宗庙里或者降为奴隶，“大战于甘，乃召六卿。王曰：……用命，赏于祖；弗用命，戮于社。予则拏戮汝”。这种简单的口头规定军队纪律与赏罚的做法，是早期的军法。
有的认为，这种口头规定的纪律与赏罚，虽然带有军法的含义，但有很大的随意性，而且赏罚也不容易一致，还不能算是军法。我国的军法大约形成于春秋、战国之交。因为这时，各诸侯国频繁进行“争霸”、“攻战”，为了提高军队战斗力，各诸侯国对攻战的赏罚都作了明文规定，建立起了一套以军功授爵制为中心的赏罚制度，并与严格而残酷的刑罚结合在一起，从而形成了带有强迫性的、为统治阶级服务的军法。这些军法，虽然由于各诸侯国的情况不尽相同，实行的程度也不尽一致，但基本的精神都是根据官兵在战争中的表现和贡献，给予一定的奖励或惩罚。当时，实行得比较彻底，规定也比较具体的是秦国，而且在商鞅变法时就全面推行了这种制度。据出土的秦简《军爵律》和《商子》等文献可以看到赏罚的具体规定。如：士兵个人，在战争中杀敌一人者，免除其全家徭役和赋税；士兵个人斩杀敌军官一名，并取得其首级者，授爵一级，赐田一顷，宅九亩和赏给一个农奴（庶子）；大部队作战，在攻城战斗中斩首八千以上，野战中斩首二千以上，均评为“满功”，部队内各级军官都升一级，其中功大者可升三级；士兵五人一伍，其中一人逃跑，余下四人处以二年以上徒刑；畏死不前，临阵脱逃者，处以死刑，在千人大会上车裂等等。此外，春秋末期的大军事家孙武。在其所着的《孙子》兵法一书中，也把军法列为进行战争的五大要素之一。写着：
“故经之以五事，校之以计而索其情：一曰道，二曰天，三曰地，四曰将，五曰法”。显然，当时的军法已经成为军队建设和进行战争的重要内容。但是，也有的认为军法形成的时间还要早。据《周礼。夏官》记载：“国有大事，则帅国子而致天大子，惟所用之。若有甲兵之事，则授之车甲，合其卒伍，置其有司，以军法治之”。从这段文字看，显然早已存在军法。另据《司马法》记载说：虞舜时代的作战命令，是劝告式的，希望民军体念君王的困难，自动应命为国效力。夏代的作战命令是强迫式的，在组成的军队中下达，希望民军完成君王所考虑的任务，商代的作战命令也是强迫式的，在军队列阵处下达，以统一全体的意志，共同对敌作战。周代的作战命令也是强迫式的，在和敌人将要交锋时才下达，用以激励士气，鼓舞斗志。“有虞氏戒于国中，欲民体其命也。夏后氏誓于军中，欲民先成其虑也。殷誓于军门之外，欲民先意以待事也。周将交刃而誓之，以致民志也”。我们从这些记载中可以看出，军法的形成正和其它事物一样，有一个形成和充实的过程，那么，到底形成于春秋、战国之交？还是夏朝之初？还需要进一步探讨。