1127年7月31日，李綱上言趙構，朝廷必須建立一支強大的水軍守衛南方，“習水戰以擊其濟渡，使進無所掠，退不得歸”。他的提議得到準許後，李綱立即着手重置水軍七十七将，造舟船，招募水兵。
由于此前北宋水師尚存，為李綱重振南宋水師的重任打下了良好的基礎。
當初，宋朝的開國皇帝趙匡胤就積極支援建立水師，全國各路都有水軍，大部分的水師都隸屬廂軍，士兵除了漢人也有“契丹、渤海、日本外國人”。當然，禁軍中也有兩支“虎翼”水軍，廣州有東南道巡海水軍。
1001年，步軍神衛水軍隊長唐福獻上親制的火箭、火球及其他用于水戰的燃燒性武器，造船務匠項绾等則獻上海戰船式。
宋神宗時，各路水師得到重組和擴建，駐紮在全國79個地區。有些地區，如廣州和江蘇等有兩支水師，而泗州(在今安徽)等地有三支水師。
湖北永平，湖南長沙和常德，浙江杭州、明州和金華等地設有造船坊，安徽池州(今貴池)有水師補給倉庫，廣州有大型造船坊建造遠洋船舶。廣東澄海(汕頭附近)有教閱中心訓練東南道巡海水軍。
各地部署的水師規模并不大，可能一兩艘武裝的舢闆就組成一支水師，内河水戰時，使用的可能就是大一點兒的劃艇。隻有巡海水師的規模比較大，而且都由皇上賜名。
陝西路的四支水師駐紮在今青海省黃河源頭，後來因對戰吐蕃受損，北方的一些水軍則因對金作戰受損。
是以，李綱于1127年開始重組水師之時，還剩下77支水軍。
李綱制定的防衛戰略十分依賴水師的力量。他曾上奏言：“雖有高城深池，弗能守也，則何以戰？雖有堅甲利兵，弗能戰也，則何以和？”
他認為最牢固的守衛之道是依靠水師，因為南方之人習水，擅長操控舟楫，能成為出色的船員；而北方人懼舟，不敢登船水戰。
除了重整原各路水師之外，李綱還建議建造戰艦，為各路水軍配一支艦隊，以守衛黃河、長江及淮河。
他認為朝廷應當招募“習水而能操舟”之人為水兵，“以樓船淩波為号”組成樓船軍，并将他們都記錄在案，“平時許其自便，有故則糾集而用之”。他特别強調水戰中火器的運用。
李綱的水師中有各類戰船，共九種：(1)槳輪船，海鳅；(2)哨馬；(3)雙車；(4)得勝；(5)十棹；(6)大飛；(7)旗捷；(8)防沙；(9)水飛馬。
李綱提議朝廷鼓勵私人船主進獻船隻，并啟動造船計劃。他認為鱽魚戰船最為友善靈活，為發展造船業，提議以此建造統一标準的船。
1127年8月20日，李綱上奏：
瀕海沿江巡檢下，鱽魚船可堪出戰……頭方小……尾闊可分水，面敞可容人兵，底狹尖如刀刃狀，可破浪。糧儲、器仗置黃版下，标牌矢石分兩掖，可容五十人者，面闊一丈二尺，身長五丈，依民間工料造打，每支四百餘貫。今來召募諸路水戰人，且以三萬人為率，每船可容五十人，合用鱽魚船六百隻，計用錢二十四萬餘貫。
江淛州縣慮财賦窘迫，欲許人戶入中，每十五隻，進士補迪功郎；十八隻，補承節郎；十四隻，補承信郎。不以進納出身為官戶。有官人願入中，四隻，許占射鄉便合入差遣一次。
上交官府的民船都被改造成戰船。但有些船舶若需要改頭換面，官府就直接出錢收購。
不過，私人船主很少有聽從李綱号召的，徒有虛名的貴族頭銜對他們并無太大吸引力。
金人計劃從海上進犯的消息傳來後，水師的規模便不斷擴大，對船舶的需求也越來越急迫。
朝廷決定派一支三千人的水軍赴山東登州港和萊州港，以及江蘇海州港。
戶部尚書呂頤浩在10月時建議糾集所有海船守衛沿海。朝廷征用大型商船，卻引起了船主的強烈反對，朝廷最後同意隻征用一半商船。
1128年7月，一場大規模的造船計劃啟動，江(江西和安徽南部)浙(浙江和江蘇南部)的造船坊受命于15日内完成戰船舶的建造。
至1128年秋，南宋水師才基本形成規模。
