《木渎小志》卷一記載：“遂初園，在木渎東街，康熙間吉安太守吳铨字容齋所築。”可見，遂初園乃是吳铨所建，馬傑在《清代蘇州的徽籍藏書世家》中說：“在這些居住于蘇州的徽籍藏書家中，影響最大的莫過于曆經四代遞藏、書香不絕的璜川吳氏。”對于遂初園藏書的遞傳，馬傑在文中又寫道：“吳有子二。長子吳用儀，号拙庵，其與浙江諸名士交往甚厚，流連觞詠，座無俗客。用儀亦嗜典籍，藏書在其父基礎上複購數萬卷于其中，多宋元善本，是璜川吳氏藏書第二代中的代表人物。此外，次子吳成佐，号懶庵，同樣亦有藏書名，其中亦不乏宋元佳椠。成佐藏書處曰‘樂意軒’，藏書印有‘樂意軒吳氏藏書’等，并有《樂意軒書目》四卷。”
對于璜川吳氏藏書的情況，鄭偉章在《文獻通考》中在講到吳铨時稱：“歸田後于渎川築遂初園，因懷舊之思題其讀書處曰璜川書屋。架上萬卷，皆秘籍也。是時載酒問奇而來者，如惠棟輩，盡吳下知名士，遂以‘璜川吳氏’著名于時。沈歸愚輩皆有詩文以紀璜川書屋，後為靈岩名迹。”
沈德潛确實寫過一篇《遂初園記》，該文中先介紹了此園的來由：“容齋吳太守，于木渎鎮東，治園一區。園故廢地，蠲荒穢，拂蒙翳，因其突者壘之，窪者疏之，壘者為丘、為阜、為陂陀，疏者為池，因池之曲折，界以為堤，跨以為橋，樓閣亭榭，台館軒舫，連綴相望，垣牆缭如，怪石嵚如，古木槎枿，筼筜蕭疏，嘉花名卉，四方珍異之産鹹萃。園既成，名曰‘遂初’，取孫興公綽賦名以托意雲。”而後沈德潛以很長的一個段落介紹遂初園内各種景緻，以此可見該園内所蓋亭台樓閣之多，而對于園名的來由，沈德潛寫道：“夫園名‘遂初’，慕興公作賦之意而名也。然考《晉書》，興公隐于會稽，放浪山水，作《遂初賦》以緻意，後為散騎常侍，上書言事，桓溫笑之曰：‘何不尋君《遂初賦》，知人家國事邪！’是興公先賦《遂初》，而後曆宦途者也。”
然而沈德潛的這篇《遂初園記》卻未曾提及園中的藏書樓， 周菊坤所著《木渎》一書中專有一篇文介紹遂初園，此文中提到：“清末民初，該園日漸荒蕪，但從目前尚存的第三進大廳的廳前石階、廳内花崗石柱基、廳側磚細貼面山牆、廳北磚雕門樓以及第四進結構仍較為完整的藏書樓，可見昔日遂初園的建築格局和風貌。”
可見遂初園中的第四進院落就是藏書樓，而該文中又寫道：“遂初園的結構布局為三路七進一大園。中路建築主要以會客、喜慶、雅集、演唱、藏書等為主。大門面臨東街，枕市河，原有水碼頭，石砌駁岸齊整寬敞。中路建築中第三進為大廳，雍乾間名‘補閑堂’，歸柳氏後易名‘尊德堂’。此處為當年主要演唱場所，四周遍懸大型宮燈，《盛世滋生圖》中即繪有文人雅士在此觀看昆劇《白兔記》中‘麻地’一折的場面。第四、五進均為藏書樓，兩樓間銜以東、西轉樓，構成‘回’字四合型雙層藏書重樓。第七進為旱船，名‘聽雨篷’，東首圓洞門上方有吳铨自題‘遂園’行楷磚額一方。”
如此說來，第五進院落同樣是藏書樓，并且這兩座樓呈回形狀，如此結構的藏書樓，似乎與南浔嘉業堂相類似，不知道嘉業堂建造時是否參考了遂初園的制式。除藏書樓外，遂初園内還有其他的書房，《木渎》一書中寫道：“西路建築以書房、庭院與主人起居憩息等為主。第三進為雙層小書房，第五、六進均為雙層大書房，合稱‘拂塵書屋’。其中第五進房字首有假山，林蔭嘉花相間，下層東首辟有邊門，與中路第五進藏書樓相通；第六進下層北首中堂，精镌鄭燮題繪叢竹獨幅銀杏屏門六扇（此屏門已于1960年1月被移至拙政園‘拜文揖沈之齋’内）。”
《孟子集注》十四卷 清嘉慶吳縣吳志忠影宋刻本，卷首
《孟子集注》十四卷 清嘉慶吳縣吳志忠影宋刻本，刊記
關于璜川吳氏藏書的緣起，吳铨的曾孫吳志忠在其所撰《璜川吳氏經學叢書緣起》中首先說：“璜川者，我曾祖容齋先生自題其書屋之名也。曾祖于雍正年，由部曹守吉安歸田後居渎川遂初園，讀書其中，架上萬卷，皆秘笈也。是以題書屋曰磺川者，以我曾祖生于新安之璜源，随我高祖鄉賢公僑居松江之上海，而自松遷蘇，以故裡題其讀書處，懷舊之思也。是時，載酒問奇而來者，如惠松崖征君輩，盡吳下知名士，而我家遂以璜川吳氏著矣。”
璜川吳氏家族藏書的确始自于吳铨，當時家中藏書已逾萬卷，并且都是善本秘笈，吳志忠還解釋了璜川二字乃是曾祖吳铨在新安時所居之地，以此表明不忘家鄉。吳铨原本住在上海，由上海遷到了蘇州的木渎，吳铨在這裡與經學大家惠棟等名士有密切交往，對于吳铨去世後的情況，吳志忠在此文中接着寫道：“曾祖殁後，我祖最幼，故無如書籍之散佚。若北宋本《禮記單疏》，今歸曲阜孔氏者，其最顯者耳。我祖懶庵先生，重自搜羅，書樓三楹，環列四周，有《樂意軒書目》四卷。忠，在髫歲，常見我祖于書樓讀書，寒暑不辍其誦詠聲，希則抽筆著書時也。每脫稿，即命我嚴君暨叔父輩鈔錄編次刻之。有《懶庵偶存稿》八卷、《讀史小論》二卷行于世。歲久，版蠹，家君重校付梓，更名《經史論存》。”
當年的遂初園中藏有北宋單疏本《禮記》，此書極具名氣，以此可見，遂初園藏書品質之高。而吳志忠從小就幫助祖父整理書籍編寫書目，同時其家也刊刻書籍，對于刊書的觀念，吳志忠在此文中寫道：“昔人論藏書有二：一則聚書者之藏書，一則讀書者之藏書。如我祖非所謂讀書者之藏書欤！然樂意軒所藏書，至今又分析遺散矣。家君獨好甲部書，故中歲棄舉業，專事著述。今所刻者有《經句說》二十餘卷，其續者正未央也。嘗謂忠曰：古書不見購，我今既不能如先世之富于收藏，即案頭所有者，又烏知後來之不更散失哉？予将次第刊行之，以廣其傳。校雠之役，汝能勉之欤！忠，謹受命鸠工，集事數年之間，裒然成帙，排比甲乙，題曰《璜川吳氏經學叢書》，而《經史論存》《經句說》二書附焉。因為叙其緣起如此。道光三年四月初吉，吳縣吳志忠。”
吳志忠說他祖父的藏書堂号名叫樂意軒，分家之後，樂意軒的藏書也分成了幾份，而吳志忠的父親最喜好經部之書，想來他分家時得此部書最多，于是他就命兒子吳志忠組織人刊刻了《璜川吳氏經學叢書》。對于此叢書的情況，《續修四庫全書總目提要》中著錄有該書，而該篇提要乃是出自文獻家謝國珍之手，謝國珍稱著錄的該叢書乃是“清道光庚寅重镌本”，而後介紹了編者吳志忠的生平及其相應的撰述：
吳縣人，研治經學，家世藏書。曾祖容齋，生于新安之璜源，随父僑居松江之上海，老而自松遷蘇之故裡，題其讀書處曰璜川，以寄懷舊之情也。是時載酒問奇而來者，如惠松崖輩，盡吳下知名之士，璜川吳氏藏書，遂著名于世。中經兵燹，書頗散佚。其祖懶庵重自搜羅，編有《樂意軒書目》四卷，著有《懶庵偶存稿》八卷、《讀史小論》六卷行于世。歲久版蠹，重為校刊，更名《經史論存》。其父英中歲棄舉子業，專事著述，獨好甲部之書，著有《經句說》二十餘卷。志忠三世簪纓，秉其遣志，輯其先世所藏惠氏父子所著《春秋說》《詩說》《大學說》，江永《群經補義》等書，題曰《璜川吳氏經學叢書》，志不忘其始也。而其父英所著《經句說》二十四卷，附之于後。
《璜川吳氏經學叢書》總計收入十三種五十四卷，附一種二十四卷，《提要》中詳列出甲、乙、丙三集分别所收之書，從收書的内容看，主要是清代經學家惠士奇、惠周惕、江永等人的著作，同時也收錄了宋嶽珂所撰《九經三傳沿革例》，而附集所收一種書則是吳志忠之父吳英所撰《經句說》二十四卷。可見，璜川吳氏到了第三代、第四代對經學最為關注。
《易說》六卷 清嘉慶十五年璜川吳氏真意堂刻本，卷首
《易說》六卷 清嘉慶十五年璜川吳氏真意堂刻本，刊記
璜川吳氏的藏書在吳铨之後一直有增加，比如吳铨之子吳用儀仍然在購買善本，王昶在《蒲褐山房詩話》中說：“企晉大父吉安太守铨，歸築遂初園于木渎。其尊人用儀，夏購書數萬卷，其中多宋元善本。”
對于璜川吳氏所藏之本，葉瑞寶主編的《蘇州藏書史》中有如下簡述：“故吳氏藏書用印‘璜川吳氏收藏圖書’等印，皆歸用儀藏書。《平津館鑒藏記》卷一載宋版本《群書備數》十二卷，有‘璜川吳氏收藏圖書’朱文方印。卷三載影寫宋本《琴史》六卷，有同上之印，‘吳氏珍玩’白方長印。同卷又載《至塘欸乃集》一卷，有同上之印。《豐順丁氏持靜齋書目》鈔本集部載《滏水集》二十卷又《附錄》一卷，有‘璜川吳氏收藏’印。又載《花溪集》，有同上印記。元本史部載《史纂通要後集》，宋二卷、金一卷，為‘璜川吳氏’藏。又抄本史載《曆代傳國世次》，丁氏雲：‘璜川吳氏探梅山房抄本。’按：探梅山房不知璜川吳氏誰築，現暫列于此。”
除此之外，該書中還大量列舉了各種書目記載的璜川吳氏舊藏之本，可見該家族舊藏之書被後世藏書家所看重，而我也有幸得到其中幾部。