胡適的改革使得中國公學迎來了發展的黃金期。
“胡適對於中國公學的發展，我們不能不佩服；胡適對於中國公學的整頓，不算不盡力”，“如果胡先生能多做幾年校長，再多盡一點兒力，將來把中公由較好的大學，升到世界著名的大學，也是意料中事”，這是當時學生對胡適治校的評價。
事實證明。胡適不但是個出色的學者，也是個優秀的管理者，不但學問做得好，官兒當得也得心應手。
說到了領導者，人們常用的讚譽之詞往往是“率先垂範”、“事必躬親”、“身先士卒”、“事無鉅細”等等。
但是，胡適這個校長最被人稱道的，卻是對學校事務採取的無爲而治的行事風格。
副校長楊亮功說：“胡先生對於學校行政常以‘無爲而治’自嘲，實際上他是以無爲而爲，與自然主義教育家盧梭以不教而教同是一樣的態度。胡先生只注意於學校的重要問題，付與各主管以事權，併爲之排除困難，因此養成各人自動自發的工作精神。”
與楊亮功的評價相比，一位名叫陳鹹森的學生講得更透徹。他說，胡先生一貫主張無爲而治，“這在當年我們做學生時還不大瞭解，直到三十年後在臺灣看到胡先生的一篇‘無爲而治’的文章，那篇文內說到艾森豪做哥倫比亞大學校長和做總統時兩件故事，方纔明瞭胡先生的‘無爲而治’的深厚道理”。
這裡說的艾森豪就是艾森豪威爾。第一個故事說的是艾森豪威爾擔任哥倫比亞大學校長時，各部門領導都要前來拜訪，彙報各自的工作。於是他每天要接見兩三位院長或部門負責人。幾天以後，他問副校長，像這樣的人一共有多少，對方說共有63位。艾森豪威爾兩手舉過頭頂高聲喊道：“天呵！太多了！太多了！我當盟軍統帥的時候，只接見三位將領。我完全相信這三個人。他們手下的將領，我從來不用過問。想不到我當一個大學校長，竟要接見63位負責人，他們談的我不大懂，又說不到點子上，這對學校實在沒有好處。”
另一個故事是說艾森豪威爾當總統時愛打高爾夫球，有一天白宮送來一份急件，助手替他準備了兩份批示，一份“表示同意”，一份“表示不同意”。沒想到他居然在兩份文件上都簽了字，並交代說，請副總統尼克松替我挑一個吧。
在許多人眼裡，這兩個故事是嘲笑艾森豪威爾的，但是胡適卻從中看出民主的真諦。當時他講這兩個故事，是爲蔣介石祝壽的。他的意思是要蔣介石學一學人家的風度，做一個“無智、無能、無爲”的人，只有這樣，才能“乘衆勢，御衆智”。
胡適的這個觀點對於很多人來說是非常陌生的。許多人一旦大權在握或負點責任，就死死抓住權力不放，好像所以讓他當這個領導，是因爲就他行，別人都不行。這樣的領導人從來不懂得，一個合格的領導者的最大責任是儘可能的調動和發揮下屬的聰明才智。他們也不懂得一個人智力和認識是有限的，“一個人就算渾身是鐵能打幾根釘”？對於領導者，所謂“不輕易做一件好事，正如不輕易做一件壞事”一樣，應該成爲每個領導人、特別是主要領導遵守的一條戒律。
這也是胡適初次與蔣介石見面，就把自己寫的、闡述這個道理的《準南王書》送給對方的原因。
毫無疑問，對於一個領導者，無爲而治是大智慧，甚至是最高的境界。
因爲不能天天在學校，胡適每月只領100元車馬費。朱經農過意不去，曾在信中關切地詢問：“兄近日個人經濟問題如何解決？聞兄在中國公學依然每月只領夫馬費一百元，似不夠用。上學期所定夫馬費是一種過渡辦法，似不應永遠如此。今年你未在他校教書，僅此一百元安能度日？”
從這裡，不難發現，胡適做人做事的原則。
胡適在中國公學，有一件非常重要的舉措就是溝通文理。爲了溝通文理，他親自兼任文理學院院長，讓有志於數理的人學點文史知識，有志於文史的人學點自然科學。事實證明，胡適的這一做法效果很好，比如吳健雄當年是數理系的學生，卻肯在文科方面下很大功夫。有一次她還在胡適指導的作文課上獲得100分，這件事不僅對吳健雄的影響很大，也成爲胡適津津樂道的話題。
溝通文理不僅有利於提高學生的素質，而且還是涉及到教育的目的所在。所謂知識相關，各門知識是廣泛聯繫，相互依賴的。如有些人所說，“過早接受專才教育，不僅會因爲知識面狹窄而難成大器，還容易成爲會說話的工具，不會思考的奴隸”。
胡適非常重視學生的讀書學習。
他認爲讀書既要精又要博，他理想中的學者，既能博大，又能精深。精深的方面，是他的專門學問。博大的方面，是他的旁搜博覽。博大要幾乎無所不知，
在他看來，讀書要精的秘訣在於“眼到，口到，心到，手到”。需知著書的人，他寫每一個字都是反覆推敲的，而且每個字又有很多的意義，眼一時不到，就很容易誤解作者的意思，貽害很大。口到就是要多讀，特別是不甚理解的地方，多讀幾遍效果很好。心到就是要用心考究每章每句每字意義如何，何以如此排章布節。手到的範圍很廣，它不僅包括做筆記、寫心得，還包括查字典、做標記等，更重要的是，要通過手到這一手段把著書人的知識給徹底消化吸收。
關於這一點，胡適曾經舉過這樣一個例子：“你也會說‘進化’，他也會談‘進化’，但你對於‘進化’這個觀念的見解未必是很清楚的；也許只是一種道聽途說，也許只是一種時髦的口號。這種知識算不得知識，更算不得是‘你的’知識。……假使你翻了幾天書之後，發憤動手，把你研究所得寫成一篇讀書札記，列舉了：（一）生物學上的證據，（二）比較解剖學上的證據，（三）比較胚胎學上的證據，（四）地質學和古生物學上的證據，（五）考古學上的證據，（六）社會學和人類學上的證據。到這個時候，你所有關於‘進化’”的知識，經過了一番組織安排，這些知識方纔可算是你自己的了。”
關於讀書要博，胡適的觀點是讀書不博，則無法讀書。經常讀書的人，應該會有這樣的經驗，讀到某處，總是理解不了，好像對某方面的知識有所欠缺，但當你想要補充這方面的知識時，又會發現新的欠缺，讀書愈多，發現的欠缺愈多，即便不想博，也不得不博了，除非索性不讀。
關於這一點，胡適也有個例子：“譬如讀《詩經》，你若先讀了北大出版的《歌謠週刊》，便覺得《詩經》好懂的多了；你若先讀過社會學，人類學，你懂得更多了；你若先讀過文字學，古音韻學，你懂得更多了；你若讀過考古學，比較宗教學等，你懂得的更多了。”
作爲實驗主義的提倡者，他希望學生能夠在學業上不斷追求進步，常教導學生做學問要能不斷髮現問題，研究問題和解決問題。同時他也希望學生們畢業後不要放棄做學問。
胡適在《中國公學十八級畢業贈言》中說：“諸位畢業同學：你們現在要離開母校了，我沒有什麼禮物送給你們，只好送你們一句話罷。
“這一句話是：‘不要拋棄學問’。以前的功課也許有一大部分是爲了這張畢業文憑，不得已而做的，從今以後，你們可以依自己的心願去自由研究了。趁現在年富力強的時候，努力做一種專門的學問。少年是一去不復返的，等到精力衰時，要做學問也來不及了。即爲吃飯計，學問決不會辜負人的。吃飯而不求學問，三五年之後，你們都要被後進少年淘汰掉的。到那時再想做點學問來補救，恐怕已經太晚了……
“易卜生說：‘你的最大責任是把你這塊材料鑄造成器。學問便是鑄器的工具。拋棄了學問便是毀了你們自己。
“再會了！你們的母校眼睜睜地要看你們十年之後成什麼器。”
楊亮功還回憶說：“胡先生在學校積極提倡學生寫作，他認爲這樣可以引起學生讀書興趣。學校創辦有《吳淞月刊》。當時學校教授中作家甚多，影響所及，學生方面亦創辦有許多刊物如《野馬》等。”
此外，胡適還非常支持學生自己創辦的《中國公學三日刊》。1929年底，針對一些學生對於某一學生組織用“中國公學”名義辦此報刊的疑問，胡適公開表示：私人組織可以用“中國公學”名稱，並且說美國著名大學的刊物都是如此。他還強調：學校不會干涉《中國公學三日刊》的發展，學生會也不會干涉。
胡適還爲該刊題寫了1930年新年賀詞：“種種從前，都成今我。莫更思量更悲哀。從今後，要那麼收果，先那麼栽。祝大家新年進步！”
胡適深知圖書館對於學習知識的重要性, 他很早就與圖書館結下不解之緣。胡適留學美國時，對美國的圖書館產生了濃厚的興趣。在康乃爾大學讀書期間，胡適曾“作一書致圖書館館長Ｈａｒｒｉｓ君，許添設漢籍事”。1914年１月，胡適在《留美學生年報》上發表《美國大學調查表》例言及《藏暉室雜錄》。《雜錄》第四部分對藏書30萬冊以上的美國大學圖書館概況做了統計。同年9月6日，胡適還遊覽了波士頓公共圖書館，十分欣賞該館100餘萬冊藏書，“任人觀覽，不取資”的做法。
胡適對美國的圖書館與中國的藏書樓之間的巨大差距感慨萬分，他在1915年２月21日的日記中寫道：“國無海軍，不足恥也；國無陸軍，不足恥也！國無大學，無公共藏書樓，無博物院，無美術館乃可恥耳。我國人其洗此恥哉！”爲此，他發下大願“吾歸國後，每至一地必提倡一公共藏書樓。在裡則將建績溪閱書社，在外則將建皖南藏書樓，安徽藏書樓，然後推而廣之，乃提倡一中華民國國立藏書樓，以比之英之(大英博物館)，法之(國家圖書館)，美之(國會圖書館)，亦報國之一端也。”
胡適認爲建立圖書館是報效國家的一種方式，此後他便終生致力於推進中國的圖書館建設。
1922年7月6日，胡適與蔣夢麟一起就日本贈款用途擬定計劃，其中第一條就是“設東方歷史博物館及圖書館”。
1925年4月，中華圖書館協會成立，胡適捐款以示支持，並擔任了協會董事兼財政委員會委員、索引委員會書記。
1930年6月初，他在中國圖書館協會本年度年會的講話中指出，良好的教師可遇不可求，圖書館則可求而可得。能夠供給真正知識的，圖書館纔是真正的教師。
他在中國公學期間，對設在上海的社會科學院圖書館進行了整頓擴充，每日到館學生有百餘人。同時，校圖書館一改以往無任何統計的積習，計劃進行各項統計，包括各系學生借書統計表、借出各種書籍分類比較表、各年級學生借書比較表等，爲圖書館的科學管理奠定了基礎。