提起三国时的赤壁之战，可能大家都比较熟悉，曹操号称80万大军，却败在东吴水军手下。宋金时黄天荡之战，韩世忠、梁红玉率兵大败金兀术。这些都是靠水战获取的胜利，它说明我国历史上早就建立了一定规模的水军。但水军究竟何时建立？至今仍是个谜。
水军在我国古代称舟帅，是当代海军的前身，军队的一个军种。我国是水军的诞生地之一。它是随着造船业的发展，武器装备的改进和作战区域的扩展而产生的。传说在原始公社末期就出现了独木舟和木筏，用于交通运输，后来用于渔业和通商。《周易。系辞下》就有“刳木为舟，剡木为可楫”的记载。当时部落之间争战频繁，黄帝与九夷作战，是否渡过淮河、长江，有没有建立水军，还有待考证。
商代甲骨文中多次出现过“舟”字，西周金文中不仅有“舟”字，而且开始出现了“船”字。周时舟船的数量显着增加，已有多人撑驾的大船。商和西周的军事力量，开始由中原地区逐渐向东南扩展，商已有向东南夷的记载。西周的势力已达到东南沿海和我国南方多水地区。当时军队已具有相当规模，并有运用舟船输送军队或实施渡河的记载，但尚未发现记载舟师建立的时间。
春秋时期临江傍水的吴国、越国、楚国和面临东海的齐国等都有水军，并多次在水面上交战。那时水战中使用的舟船，具有相当的规模。据《神机制敌太白阴经》载：“水战之具，始于伍员。以舟为车，以辑为马”。这些代替陆上车马的舟楫，为水军的建立创造了条件。《越绝书》记载，伍子胥还着有水战法，规定舟船的尺寸、水军的编制和船队的战法。《伍子胥战法》说，“大翼一艘，广丈六尺，长十二丈，容战士二十六人，擢（手）五十人，舳舻（手）三人，操长钧、矛、长斧各四，吏、仆、射长各一人，凡九十一人”。水战使用的武器，有刀矛弩矢和长钩、长斧。鲁国公输般还创制水战的装具——“钩拒”，这是一种带铁钩的竹篙，对敌船“退则钩之，进则拒之”。用这些战船和武器实施水战，使水战具有相当的规模。如《中国大百科全书。军事》战术条记叙“公元前485年，吴、齐在黄海进行了海战”，当时吴国的舟师，从长江口出海北上，实行远航奔袭，声势浩大。但齐国舟师，没等吴军到达，就在水面上实施截击，结果吴军战败。显而易见，双方进行这样大规模的水战，一定早就要建立一支强大的水军。
公元前549年，楚国派水军进攻吴国，《左传》叙述：“夏，楚子为舟师以伐吴”，这次水战比上述吴齐黄海水战早64年。这说的是进行水战的时间，建立水军将比水战还要早。那么我国水军究竟何时建立？还有待进一步探讨考证。