胡適於1960年10月23日返臺，當晚接見記者，表示願意爲雷震作“品格證人”。
他氣憤的對記者說；“十一年來雷震辦《自由中國》，已經成爲自由中國言論自由的象徵，我曾主張應爲他造銅像，不料換來的是十年坐監，這是很不公平的！”說到這裡，一向平和的胡適，使勁拍了一下桌子。
11月18日上午11點半，胡適在張羣的陪同下拜謁蔣介石。因爲雷震的案子，這一次的氣氛顯然不同於以往。應該是被關照過了，這次與蔣見面不談雷震的案子，胡適也肯定是答應過了。可不提雷震的案子，胡適對別的話題都沒有興致。他在扼要彙報了“中美學術合作會議”的情況後，看快到吃午飯的時間了，便對蔣介石說不知道總統還有什麼問題要問問他。
蔣介石說：“請你談談政治形勢罷。”
胡適問：“國內的？還是世界的？”
蔣介石說：“整個世界的。”
胡適只好講了講聯合國大會和美國大選。
“我本來對嶽軍先生說過，我見總統，不談雷案。但現在談到國際形勢，我不能不指出……”
胡適實在忍不住了，到底還是將他胸中憋悶已久的話倒了出來，告訴蔣介石說當局對這件事情的處置有欠明智，已經在臺灣島內外產生了很不好的影響，輿論普遍認爲政府畏懼並摧殘反對黨，臺灣沒有言論自由，仍是戒嚴區……這樣嚴重的不利後果當局恐怕還沒有“深知”。
蔣介石說：“我對雷震能十分容忍。如果他的背後沒有匪諜，我決不會辦他。……我也曉得這案子會在國外發生不利的反響，但一個國家有他的自由，有他的自主權，我們不能不照法律辦。”
涉及到通共，胡適雖然知道這是欲加之罪，但他卻無從爲雷震辯白。
胡適只能申明：“關於雷案與匪諜的關係，是法庭的問題。我所以很早就盼望此案能移交司法審判，正是爲了全世界無人肯信軍法審判的結果。……這樣重大的案子，只開了八個半鐘點的庭，就宣告終結了，就定期八日宣判了！這是什麼審判？我在國外，實在見不得人，實在擡不起頭來。”
蔣介石怪笑了下說：“胡先生同我向來是感情很好的。但是這一兩年來，胡先生好像只相信雷儆寰，不相信我們政府。”
“這話太重了，我當不起。”胡適誠惶誠恐，只得當面重申1949年他剛到美國時說過的一句話：“我願意用我道義力量來支持蔣介石先生的政府”。並對蔣介石鄭重表示：“我在十一年前說的這句話，我至今沒有改變。”
這些話讓蔣介石很受用，氣氛終於有了緩和。胡適藉機又向蔣介石進言：“十年前總統曾對我說，如果我組織一個政黨，總統不反對，並且可以支持我。……我今天盼望的是：總統和國民黨的其它領袖能不能把那十年前對我的雅量，分一點來對待今日要組織一個新黨的人？”
蔣介石未做回答，也未置可否。
已經超出預訂時間了，胡適起身告辭。蔣介石親自送他到接待室門口，兩人才握手相別。儘管發生了雷震一案，但胡適並不願和蔣介石公開決裂，仍打算與之“相忍爲國”。
蔣政府這一次對雷震的下黑手，除了《自由中國》雜誌外，還應該與雷震組建新黨有關。
胡適剛結束在美國的流亡，回到臺灣不久的一天晚上，自由中國社舉行宴會。
胡適在宴會上演說時，曾從爭取言論自由談到反對黨，他公開主張由知識分子來組織一個在野黨，並極力表彰雷震爲民主自由所作的貢獻。
他說：“這幾年來，如果說言論自由格外普遍，我覺得雷先生的功勞最大。我說臺灣應該替他造一個銅像，以表示他是真正爭取言論自由的英雄、好漢、鬥士。”
隨後，《自由中國》便大力鼓吹鬍適的倡議，宣傳積極展開“新黨運動”。雷震要求胡適出來領導，做黨魁，實際工作則由雷負責。但胡適只同意擔任顧問，卻極力鼓勵雷震出來組黨。到1960年，籌組新黨的活動進入了最後階段。8月13日，在中壢舉行竹苗桃三縣座談會，雷震宣佈新黨將於9月底或10月初正式成立。
然而，當新黨積極準備組成的時候，9月4日，雷震便被捕了，同案被捕的還有組建新黨的三個骨幹分子：《自由中國》編輯兼新黨秘書傅正，《自由中國》會計劉子英、馬之。經軍事法庭審判，雷震以“爲匪宣傳”與“知匪不報”兩項罪名判刑14年，劉12年，馬5年，傅正被判感化3年。
由於雷震案，不但《自由中國》很快停刊，雷震欲組建的新黨也胎死腹中。
爲在臺灣爭取一點民主和言論自由，雷震付出的代價是：鋃鐺入獄，坐了十多年牢。雷震案對胡適的打擊是沉重的，總覺得“吾雖不殺伯仁，伯仁由我而死”，明知雷震是受自己的連累，明知雷震案是殺雞給自己這個猴看，胡適卻有苦而說不出來。想到雷震案就陷於深深地內疚而寢食難安，這已經讓這個多病的人難以承受了，還要承受來自同仁的責備。很多同情雷震的人，都寄希望於胡適，或許他們過高估計胡適的能量了。不管胡適的名氣有多大，在缺少約束的權力面前也只是“手無縛雞之力”。
上一章談到，1959至1960年間，胡適曾被捲進了總統連任問題的政治漩渦之中。
蔣介石自1954年當選第二任“總統”以後，年事漸高，任期即將屆滿。根據憲法，不能連任三任。而蔣的長子經國頗有才幹，在國民黨政界也頗有影響，於是便有推經國繼任總統候選人，取而代之的輿論。
1959年1月中旬，胡適與陳誠、王世傑、蔣夢麟等一道，去臺中臺南旅行遊覽了六天，便有人說他們是“商山四皓”。
商山四皓，是秦朝末年四位博學之士：東園公唐秉、夏黃公崔廣、綺裡季吳實、甪里先生周術。他們是秦始皇時七十名博士官中的四位，因不滿秦始皇的焚書坑儒暴行而隱居於商山。
劉邦登基後，久聞四皓的大名，曾多次請他們出山爲官，而被拒絕。
劉邦立長子劉盈爲太子，封戚夫人的兒子劉如意爲趙王。後來，劉邦見劉盈天生懦弱，才華平庸，而劉如意卻聰明過人，才學出衆，有意廢劉盈而立如意。
劉盈的母親呂后聞聽，非常着急，便派自己的哥哥建成侯呂釋之去請開國重臣張良出面。
張良很爲難，言道：“當初皇上是由於數次處於危急之中，纔有幸採用了我的計策。如今天下安定，情形自然大不相同。更何況現在是皇上出於偏愛想要更換太子，這是人家骨肉之間的事情。清官難斷家務事啊！這種事情，就是有一百個張良出面，又能起什麼作用呢？”
呂釋之懇求張良務必出個主意。
張良不得已，只好說：“這種事情，光靠我的三寸不爛之舌恐怕難以奏效。我看不如這樣吧！我知道有四個人，是皇上一直想要羅致而又未能如願的。這四個高人年事已高，然而皇上非常敬重他們。如果請太子寫一封言辭謙恭的書信，多帶珠寶玉帛，配備舒適的車輛，派上能言善辯之人去誠懇聘請他們，他們應該會來。然後以貴賓之禮相待，讓他們經常隨太子上朝，使皇上看到他們，這對太子是很有幫助的。”
於是呂氏兄妹和太子當真把這四個後人稱之爲“商山四皓”的老人請來了。
在一次宴會中，太子侍奉在側，四個老人跟隨在後。劉邦突然見那四個陌生的老人，都已八十開外，鬍鬚雪白，非常驚訝，問起他們的來歷，四人道出自己的姓名。
劉邦聽了大吃一驚：“多年來我一再尋訪諸位高人，你們都避而不見，現在爲何自己來追隨我的兒子呢？”
四個老人回答：“陛下一向輕慢高士，臣等不願自取其辱。如今聽說太子仁厚孝順，恭敬愛士，天下之人無不伸長脖子仰望着，期待爲太子效死，所以臣等自願前來。”
劉邦說：“那就有勞諸位今後輔佐太子了。”於是便打消了換太子的念頭
說胡適等人是商山四皓，也就是說他們是蔣經國的羽翼，是要輔佐所謂“太子”上位。這所謂“商山四皓”的話，後來在臺灣引起了幾個月的政治風潮。
胡適也確實不贊成蔣介石連任，曾請當時總統府秘書張羣向蔣轉達他的意見，主要是希望蔣“明白表示尊重憲法，不做第三任總統”。這同樣的意見，胡適多次向黃季陸、王雲五等友人和政府要人說過。又多次對記者發表“反對修憲”，“反對三度連任”的話，都在報上刊載出來。
但是，像蔣介石這樣的權力慾極強之人，怎麼能退位呢！胡適的反對，簡直是挖他的祖墳，這也使胡適和蔣介石的關係，降到了冰點。