潘仕成利用了自己的身份和交往，不僅經商鹽務，而且承辦軍火生產、幫辦洋務。第一次鴉片戰爭前後，十三行的那些洋商因中英交戰元氣大傷，日子並不好過，潘仕成卻以承辦海防和戰船發了財。潘仕成承辦軍工海防時，自動捐資加制戰船，一次就捐助抗英軍餉8萬兩，被贊爲“粵省紳士中最爲出力之員”。鄧廷楨在石門試炮，邀他前往觀看。兩廣總督對修築虎門海防工程猶豫不決，“恐花數萬之資，委於無用之地”，後來求助於潘仕成獻策資助，才得竣工，因此十分感佩潘仕成“急公之狀”，致書要他“時以策我”。道光二十一年（1841年）2月，英軍攻破虎門，廣州垂危，時已被革職的林則徐毅然決定出資自僱壯勇以應敵。在林則徐的感召和帶動下，廣州愛國士紳、商人紛紛捐資僱勇。潘仕成主動代付廣益行僱募300名壯勇的僱資。爲此，林則徐特致函於他，謂“閣下捐資保衛城垣，洵屬義舉”，“若廣益行所僱之人改由尊處給資，於心不安，理亦不順，且與別處轉不一律，無以對人。茲特將廣益退回原銀送繳臺府，祈爲歸款。盛意已所深感，幸勿謙讓過情，曷勝感禱”云云。潘仕成認爲“要制敵則必制其炮，要制其炮必先制其船”，故不惜以每月5000兩銀子的高薪聘請外籍人士壬雷斯制水雷、造戰船、鑄火炮，花去6.5萬兩銀子。所制水雷，成爲當年攻船利器，還將20枚水雷、400斤火藥運往天津大沽口要塞演習。他還編繪了《攻船水雷圖說》上奏，得獲傳旨嘉獎。由於籌防籌餉，潘仕成受到粵地大吏的倚重，多次向朝廷表奏其功。道光帝一再下諭嘉獎：“該道員潘仕成，業經迭次加恩賞戴花翎，並加按察使銜，應如何再加獎勵之處，着兩廣總督酌核具奏，候朕施恩。”不久，據奏議賞加潘仕成布政使銜。清代洋商所能得授最高官銜只能是三品職銜，布政使是從二品職銜，潘仕成因功得銜，地位十分顯赫。
朝廷對潘仕成賞賜有加，其後，又下令授以實職。道光二十六年（1846年），先後委以甘肅平慶涇道、廣西桂平梧鬱道之職，但潘仕成卻不想到任，均通過粵督以“督辦七省戰船未竣”、“幫辦洋務”爲由奏留廣東。翌年，道光帝特旨授潘仕成兩廣鹽運使，他以本籍人爲本省鹽司“異數”、“非分”爲由，固辭不就，改授浙江鹽運使，又以“粵東夷務孔棘”爲由奏留。除了因“非分”辭去兩省鹽運使之外，潘仕成還三次辭去委命，不離粵地。
潘仕成在54歲時曾接受公命北上談判。鴉片戰爭中籤訂的中英《南京條約》規定開放廣州、上海等五口爲通商口岸，英商“應納進出口貨稅餉費，均宜秉公議定則例”。次年，中英在虎門簽訂了《五口通商附粘善後條款》（即《虎門條約》），並附《海關稅則》，對出口貨物分類定出稅率。15年之後，第二次鴉片戰爭期間的咸豐八年（1858年），清廷在直逼天津的英法聯軍炮艦威嚇下，簽訂了中英、中法《天津條約》，後又在上海，與英、美、法等國分別簽訂了《通商章程善後條例》，修改稅則，降低稅率。潘仕成奉召談判涉及廣州通商之事，可見其作爲商界人士在政界之地位。此後，他就“歸而養痾里門”，再不復出了。
潘仕成在地方被譽爲“輕財好義，地方善舉資助弗吝”。一是賑災濟貧。廣東地區常有災情，潘仕成不止一次捐資賑災，還倡種牛痘，建議官府、親友推廣種牛痘，併爲之代購進口種痘洋刀，輸送洋痘種。各方人士和受患者均贊其“功德無量”。至於日常故交知己需扶貧濟困，或婚喪嫁娶，或缺醫少藥者，他都樂意慷慨相助。
和許多成功發家的中國商人一樣，潘仕成隨後大起園樓，修建了自己的奢華莊園海山仙館。“自道光九年（1829年）至同治五年（1866年）止，前後延續三十七年。”這處園館築於廣州西門外泮塘，原名荔香園，是爲園中遍植荔枝樹之故。園門懸匾額“海山仙館”，並有一副名聯“海上名山，仙人舊館”。聯、匾爲兩廣總督耆英所書。故多稱此園爲“海山仙館”。園內仿江南園林，建有眉軒、雪閣、小玲瓏室、文海樓等，垣繞四周，有遊廊曲榭，沿壁遍嵌石刻，皆晉唐以來名跡，當代名流翰墨，令人目不暇接，如遊碑廊。
潘仕成在海山仙館內收藏了不少古玩文物，包括許多宋元版本的古書和漢晉碑帖，其所藏金石、古帖、古籍、古畫有“粵東第一”之稱。海山仙館以其濃郁的嶺南園林特色和與衆不同的文化品位，吸引了許多風流名士。近人冼玉清謂其“一時墨客騷人，文酒之會，殆無虛日”。
由於潘仕成的特殊身份，海山仙館不僅成了一處顯貴來往、文人酬唱之處，還成了外交場合。潘仕成以紳士、富商身份，協助在粵大員辦理夷務外交，參與會見外國使者和談判活動。海山仙館成了清朝高級官員一處非正式的接見來自歐美外交使者和商人的場所。琦善會見義律、耆英接見法國駐廣州領事拉地蒙冬、美國首任駐華欽差大臣義華業向耆英遞交國書的儀式，均在該館舉行。
但是世上沒有不散的宴席，官場、商場之爭更是激烈莫測。潘仕成既以官紳身份經商，雖善經營，頗多善舉，晚年卻一再遭遇變故，從此一蹶不振。
“聽說他已將在十七甫的故宅以三萬八千兩銀子之價售出，說明其手頭不濟到了出賣故宅的地步。鹽務本是一本萬利的買賣，何以會虧累至破家，箇中緣由尚無人得知。”陳鴻說道。
“這錢，只有流動週轉起來，才能生錢，”陳廷軒說道，“他可倒好，賑災，修路，助朝廷養兵，加上各種攤派，哪一個不是從身上割肉，他賺的錢再多，也經不住這樣的折騰。我當年勸他一道離了大清，退往海外，他偏不聽，結果現在完了。”
的確，成爲紅頂商人的潘仕成頃刻成爲了不得的大衆慈善家、軍事開發的財閥、中央財政的無私資助者。鋪路、賑災、種牛痘，潘仕成要出錢；水雷開發和艦船製造，他要出錢，然後無償或微利轉讓給清政府；清廷養兵用軍，他還是要出錢。一頂紅換來一身累，這是潘仕成沒有料到的。如果說鋪路、賑災之類是回饋父老鄉親，他尚能甘之如飴的話，本來應該是政府財政撥款支持的項目居然也讓他分擔責任，則確實成爲生命裡不能承受之重了。潘仕成是官商，但沒有哪個清廷官員能像他那樣被無休無止的攤派包圍的。一頂紅頂換來啞巴虧，潘仕成顯然沒有更多的辦法。他必須固守財富，寸步不離廣東於是成爲這種心態近乎病態的體現。
與其坐等錢財分散殆盡，不如想方設法、自助自救。既然流動資產易被抽走，那就讓所有資財“固定”下來。所以這也是潘仕成爲什麼花費巨金建造海山仙館的原因。
“潘家不是有祖訓麼：寧做一條狗，不做行商首。現下的大清，還是這般視商人爲賤等，我看還是不要回去的好。”陳廷軒長嘆道，“免得落得和他潘仕成一般下場。”
“也不盡然，兒子多方打探過，如晉商喬致庸，徽商胡光墉，現在做得都不錯，當然，須得朝中有大靠山纔是。”陳鴻說道，“潘家現在朝中已無可倚靠之人，是以有現下之敗。”
“是啊！樹大才好乘涼啊！那胡光墉發跡得如此之快，還不是有左宗棠這棵大樹！”陳廷軒感慨道，“古今中外，都是一個道理，你媳婦的孃家，若不是傍上各國政要，也難得發跡。”
“所以說，咱們迴歸故土發展，也得尋到大樹才行。”陳鴻也嘆道，“只是大清立國以來，就是重農輕商賤工，不似西國以工商爲首，若是能變從西國，重回故土當無所礙。”
“對了，林鯤宇這陣子再無書信過來麼？”陳廷軒突然想起了林義哲，向陳鴻問道。
“沒有，不過前一陣子聽說法皇送還原屬圓明園的藏寶，好象和他有關，”陳鴻道，“聽說他爲此捱了言官不少的參劾，險些送命，我不便當面打聽，已經讓薩拉寫信給婉兒，打聽詳情，這幾日當會有回書到來。”
“可能是爲上次他弄的那個登報的事，要不然法皇也不會下這麼大的力氣，這樣一來，兩國交好，商機自然無限。聽說女王陛下也打算向法皇學樣呢，”陳廷軒道，“上次要不是他，哪能讓咱們白賺了兩個億英鎊。所以他吩咐的事，你可得千萬留意，萬萬馬虎不得。”
————分割線————