1127年7月31日，李纲上言赵构，朝廷必须建立一支强大的水军守卫南方，“习水战以击其济渡，使进无所掠，退不得归”。他的提议得到准许后，李纲立即着手重置水军七十七将，造舟船，招募水兵。
由于此前北宋水师尚存，为李纲重振南宋水师的重任打下了良好的基础。
当初，宋朝的开国皇帝赵匡胤就积极支持建立水师，全国各路都有水军，大部分的水师都隶属厢军，士兵除了汉人也有“契丹、渤海、日本外国人”。当然，禁军中也有两支“虎翼”水军，广州有东南道巡海水军。
1001年，步军神卫水军队长唐福献上亲制的火箭、火球及其他用于水战的燃烧性武器，造船务匠项绾等则献上海战船式。
宋神宗时，各路水师得到重组和扩建，驻扎在全国79个地区。有些地区，如广州和江苏等有两支水师，而泗州(在今安徽)等地有三支水师。
湖北永平，湖南长沙和常德，浙江杭州、明州和金华等地设有造船坊，安徽池州(今贵池)有水师补给仓库，广州有大型造船坊建造远洋船舶。广东澄海(汕头附近)有教阅中心训练东南道巡海水军。
各地部署的水师规模并不大，可能一两艘武装的舢板就组成一支水师，内河水战时，使用的可能就是大一点儿的划艇。只有巡海水师的规模比较大，而且都由皇上赐名。
陕西路的四支水师驻扎在今青海省黄河源头，后来因对战吐蕃受损，北方的一些水军则因对金作战受损。
因此，李纲于1127年开始重组水师之时，还剩下77支水军。
李纲制定的防卫战略十分依赖水师的力量。他曾上奏言：“虽有高城深池，弗能守也，则何以战？虽有坚甲利兵，弗能战也，则何以和？”
他认为最牢固的守卫之道是依靠水师，因为南方之人习水，擅长操控舟楫，能成为出色的船员；而北方人惧舟，不敢登船水战。
除了重整原各路水师之外，李纲还建议建造战舰，为各路水军配一支舰队，以守卫黄河、长江及淮河。
他认为朝廷应当招募“习水而能操舟”之人为水兵，“以楼船凌波为号”组成楼船军，并将他们都记录在案，“平时许其自便，有故则纠集而用之”。他特别强调水战中火器的运用。
李纲的水师中有各类战船，共九种：(1)桨轮船，海鳅；(2)哨马；(3)双车；(4)得胜；(5)十棹；(6)大飞；(7)旗捷；(8)防沙；(9)水飞马。
李纲提议朝廷鼓励私人船主进献船只，并启动造船计划。他认为鱽鱼战船最为方便灵活，为发展造船业，提议以此建造统一标准的船。
1127年8月20日，李纲上奏：
濒海沿江巡检下，鱽鱼船可堪出战……头方小……尾阔可分水，面敞可容人兵，底狭尖如刀刃状，可破浪。粮储、器仗置黄版下，标牌矢石分两掖，可容五十人者，面阔一丈二尺，身长五丈，依民间工料造打，每支四百余贯。今来召募诸路水战人，且以三万人为率，每船可容五十人，合用鱽鱼船六百只，计用钱二十四万余贯。
江淛州县虑财赋窘迫，欲许人户入中，每十五只，进士补迪功郎；十八只，补承节郎；十四只，补承信郎。不以进纳出身为官户。有官人愿入中，四只，许占射乡便合入差遣一次。
上交官府的民船都被改造成战船。但有些船舶若需要改头换面，官府就直接出钱收购。
不过，私人船主很少有听从李纲号召的，徒有虚名的贵族头衔对他们并无太大吸引力。
金人计划从海上进犯的消息传来后，水师的规模便不断扩大，对船舶的需求也越来越急迫。
朝廷决定派一支三千人的水军赴山东登州港和莱州港，以及江苏海州港。
户部尚书吕颐浩在10月时建议纠集所有海船守卫沿海。朝廷征用大型商船，却引起了船主的强烈反对，朝廷最后同意只征用一半商船。
1128年7月，一场大规模的造船计划启动，江(江西和安徽南部)浙(浙江和江苏南部)的造船坊受命于15日内完成战船舶的建造。
至1128年秋，南宋水师才基本形成规模。
