中日甲午戰(zhàn)爭后，張謇認(rèn)為中國之弱在于貧，救貧之法在于實業(yè)在于教育，提出“以實業(yè)與教育迭相之用”、“實業(yè)為父、教育為母”的主張。在發(fā)展實業(yè)的同時，張謇努力興辦新式學(xué)校等各類文化教育設(shè)施。光緒二十八年(1902)，在南通創(chuàng)辦全國第一所民辦師范——通州師范學(xué)校，王國維在校任教。后又興辦通州女子師范學(xué)校和海門常樂鎮(zhèn)張徐女校等一批中、小學(xué)校。除此之外還創(chuàng)辦了南通博物苑、圖書館、醫(yī)學(xué)專科學(xué)校、紡織專門學(xué)校、氣象臺以及南京河海工程專門學(xué)校。

　　張謇興辦圖書館想法的產(chǎn)生主要是受到兩個方面的影響。其一，受紹興徐樹蘭所建古越藏書樓的影響。光緒二十六年(1900)，紹興士紳徐樹蘭創(chuàng)辦了具有現(xiàn)代圖書館性質(zhì)的古越藏書樓，張謇在考察古越藏書樓之后作了一篇題為《古越藏書樓記》的文章，文章中盛贊徐樹蘭“舉其累世之藏書，樓以庋之，公于一郡，凡其書一若郡人之書”，“樓成，其鄉(xiāng)之人大歡”，并稱:“亦欲效先生之所為，而亦欲海內(nèi)藏書家皆仿先生之所為也”。其二，受西方先進思潮以及示范效應(yīng)的影響。光緒二十九年(1903)，張謇東渡日本進行了七十天的實地考察，行程中的一項重要內(nèi)容就是參觀博物館、圖書館。后來的1905年，張謇在《上南皮相國請京師建設(shè)帝國博物館議》中提出:“夫近今東西各邦，其所以為政治學(xué)術(shù)參考之大部以補助于學(xué)校者，為圖書館、為博物苑，大而都畿，小而州邑，莫不高閣廣場、羅列物品，古今咸備，縱人觀覽。公立私立，其制各有不同。而日本帝國博物館之建設(shè)，其制則稍異于他國，且為他國所不及……我國今宜參用其法，特辟帝室博物館于京師。”這里特別要提到的一點是，張謇是主張圖書館與博物館合二而一的，他在南通創(chuàng)辦的博物苑兼具圖書館功能就是這種主張的實際體現(xiàn)。

　　張謇于1905年開始多次向朝廷上書。在《上學(xué)部請設(shè)博物館議》奏折中，針對西方各國包括博物館，圖書館在內(nèi)的公共教育設(shè)施的先進，張謇列敷了舊式藏書樓的弊端:“(官家)則以藏庋寶于中秘，推行囿于一隅。其他海內(nèi)收藏之家，扃鐍相私，更無論矣。”提出“今為我國計，不如采用博物館圖書館二館之制，合為博覽館”，如此則“上可以保存國學(xué)，下可以嘉惠士林”。在《上南皮相國請京師建設(shè)帝國博物館議》奏折中，則進一步提出了建設(shè)以國家“圖書館”為龍頭，帶動各省各地的圖書館建設(shè)，形成全國性的圖書館網(wǎng)絡(luò)，以使“文物典章，粲然具備”，更使“莘莘學(xué)子得有所觀摩研究以輔益于學(xué)校”。不僅如此，在兩份奏折中，張謇還提出了很多建館的具體實施方案。譬如，“最重者則擇地”、“便于交通”、“館中貫通之地，宜間設(shè)廣廳，以備人觀者憩患”、“室中宜多安窗，迎光而遠(yuǎn)濕”、“庋閣之架，毋過高，毋過隘”等。在人員選配上提出“必得通東西洋語言文字二三員，以便外賓來觀，有可咨詢”。在圖書采集方面，則建議以當(dāng)年編纂《四庫全書》為范，對獻書者“請旨給賞”。

　　上書同時，張謇還按照自己的主張在南通創(chuàng)建了博物苑。他“辟地四十畝，雜采植物實之。中建三樓為館，以儲三部之物。而以教育晶附焉”。其中的三部為天然、歷史、美術(shù)三部。美術(shù)部中有“經(jīng)史詞章之集，方技書畫之遣”，實際上具備了圖書館的大致功能。

　　辛亥革命讓張謇最終實現(xiàn)了圖書館之夢，按照張謇自己的記述:“民國元年，里少年盡毀諸神祠。謇于是謀諸兄謀耆老……因岳廟為圖書館。”圖書館“計有圖書樓兩幢二十間，曝書臺五間，廂樓上下十二間，閱覽樓上下八間，兩廊辦事室十間，道故齋上下六間，燕息亭三間，庶務(wù)室、門房、廚房、廁所十三間，共六十七間，計用銀萬二千元。書櫥二百架，計用銀一千二百六十元，圖書十三萬千百卷，他人贈者五萬卷弱，謇贈者八萬卷強。職員六人:館長一，館務(wù)主任一，編輯及保管二，庶務(wù)一，收發(fā)一。規(guī)定每年館用一千六百元，增購圖書二千元，校對、裝訂費用四百元，共四千元。其預(yù)籌而未設(shè)者:兒童閱覽室、婦女閱覽室，并置巡回書庫”。這樣，張謇終于實現(xiàn)了建立一所真正意義上的和頗具規(guī)模的圖書館之夙愿。

　　在圖書館館舍設(shè)計方面，張謇請來中國當(dāng)時著名的建筑設(shè)計師孫支夏，請他按照自己的構(gòu)想進行設(shè)計。設(shè)計稿出來以后，張謇還多次提出修改意見，如今在南通博物苑里還保存有寫著張謇修改意見的圖書館設(shè)計藍(lán)圖，這已經(jīng)成為一份難得的歷史文獻。

　　創(chuàng)建之初，南通圖書館有藏書10萬卷，幾年以后即增至14萬卷。這些藏書現(xiàn)大多藏于南通市圖書館古籍部，很多書中有張謇的藏書印章和他的親筆題詞。為了追求藏書建設(shè)的高規(guī)格，張謇采取了征集、抄錄、影印等手段。征集分為捐贈與有償收購兩種。如上文所述，張謇除自己捐贈“八萬卷強”之外，還收到“他人贈者五萬卷弱”。對于征集不來的圖書，張謇不惜花費人工物力抄錄和影印，甚至還多次請托駐英使節(jié)設(shè)法影印流失海外的《永樂大典》。他在給駐英使館首席秘書顧錫爵的信中這樣說:“《永樂大典》自庚申之變，沒入英吉利者近千本，在其博物苑中，以為武功之記，此中國之大恥，而故籍之所關(guān)。往時劉某出使，有為言之，或易以他書，或就抄其副。劉固俗人，不足辦此，今廷卿所主，儻其人乎？”

　　張謇還非常重視圖書的編目工作。他曾兩次聘請專門學(xué)者進行編目。他在邀請陳星函先生為其編目的信中說:“素仰先生有金版六韜之博，辯己三亥豕之訛。敬請編訂本館第二次目錄……謹(jǐn)奉潤敬鍛幣五百元……”言辭之間，盡顯推重之情。

　　另外，在當(dāng)年轟動一時的莫里遜藏書出售事件中，張謇也曾做出積極努力，想花重金將這批典籍留存在國內(nèi)。但終于敵不過日本三菱財閥巨頭巖崎久彌，使這些珍貴文獻流落東洋。