他在清華求學7年，以史、學、才三才識聞名，與錢鍾書、吳晗、夏鼐並稱爲“文學院四才子”。並先後在《學衡》、《清華學報》、《東方雜誌》、《燕京學報》、《文史雜誌》、《國聞週報》等刊物發表論文和學術短文40多篇，深得當時史學界稱讚。1929年，以優異成績畢業於清華大學。是年獲公費到美國斯坦福大學攻讀西洋哲學史和社會學。留學4年，修完應學課程，未待期滿，已獲哲學博士學位，提前返國。
1934年，回國應清華大學之聘，任歷史、哲學兩系專任講師，併兼北大歷史、哲學課。1935年4月，他與倫明之女慧珠結婚。暑假後應教育部之聘，編撰《中國史綱》一書之“上古篇”，雖爲教材，然其功力與學識並不稍減，而其取精用宏，引人入勝，乃歸入中國史學名著不愧，賀麟先生稱之爲“他人格學問思想文章的最高表現和具體結晶”，其書“有真摯感人的熱情，有促進社會福利的理想，有簡潔優美的文字，有淹博專精的學問，有透徹通達的思想與識見”。
1937年蘆溝橋事變，張蔭麟南下浙江大學作短期講學，曾一度到清華、北大、南開合併的長沙臨時大學任教。於1938年春返回石龍小住，後赴昆明，在西南聯大任教。1939年初，被重慶軍委會政治部邀請爲顧問。他想對抗戰有所貢獻，不願當顧問，只資清談，感到事無可爲，遂不辭而別，再回聯大授課。1940年初，他轉到浙江大學任教。是年他的專著《中國史綱》(上古篇)由重慶青年書店出版。張蔭麟曾任國防設計委員會研究員、中央研究院社會科學研究所《中國社會經濟史集刊》主編。1941年參與發起刊行《時代與思想》月刊，並創立“時代與思想社”。有些學生被當局逮捕迫害，他就挺身而出給予保護。在這一時期他患上了腎炎症，由於缺醫少藥，病情日重，1942年10月24日在遵義病逝，年僅37歲。
張蔭麟雖然英年早逝，但包括梁啓超、賀麟、吳晗在內的熟悉他的學界人物，無一例外地稱賞他爲不可多得的史學天才。熊十力曾說：“張蔭麟先生，史學家也，亦哲學家也。其宏博之思，蘊諸中而尚未及闡發者，吾固無從深悉。然其爲學，規模宏遠，不守一家言，則時賢之所夙推而共譽也。”又說：“昔明季諸子，無不兼精哲史兩方面者。吾因蔭麟先生之歿，而深有慨乎其規模或遂莫有繼之這也。”（熊十力：《哲學與史學——悼張蔭麟先生》）以熊十力之性格特點，如此評價一位先逝的且比自己小整整二十歲的當代學人，可謂是絕無僅有的。張蔭麟一生著述甚多，散見於報章雜誌者，凡數十萬言。讀他的書，會有一種“微斯人，吾誰與歸”的感嘆。