蔡萬霖於民國十三年出生於苗栗縣竹南鎮，八歲時起就跟兄長蔡萬春到台北謀生。在謀生不易與從小打工的情況下，蔡萬霖沒有接受過完整的教育，在老松國小畢業後，考入台北成淵中學夜校，白天打工，晚上讀書，就這樣完成了高雄學業。當時的蔡萬霖就非常注意應徵工中的告示，有機會就去應徵。有一天，他在台北火車站看到日本輪船公司台北分公司的應徵工人告示，他便報名應徵，卻因個子太矮未被錄取。但蔡萬霖並不灰心，仍不斷尋找工作，終於在羅斯福路一家磚瓦廠找到了一份工作。他十方珍惜並且努力工作，獲得工廠老闆的青睞，給他的工資較其他人為高，並直說這個矮個小夥子將來一定有出息。蔡萬霖的哥哥蔡萬春具有商業上的天賦，他在民國二十七年便開始帶領全家生產醬油，在台北租賃了一個小店賣雜貨。民國三十四年，蔡家已經積累六十萬的積蓄成為家族事業的起點，蔡萬霖與兄長一起從販賣蔬菜、大米、醬油、開雜貨店中逐步培養他的商業能力。
蔡萬春將積蓄先後投資商場、旅社、玩具、鋼鐵等行業，財富迅速擴張。民國四十六年，蔡萬春買下了台北第十信用合作社︵簡稱十信︶，當時台灣有七十三家信用合作社，十信業務排名第六十一位。在蔡萬春的領導下，三年後，十信一躍而成為台灣第二名。後來，蔡氏兄弟開創一元就可以開戶﹁幸福存款﹂儲蓄運動，獲得總統的讚賞，蔣公親自到十信開戶鼓勵民眾節儉儲蓄，一時之間十信名聲大震，業務發展十分迅速，一躍成為台灣最大的信用合作社。民國四十九年，蔡萬春與林頂立共同創建國泰保險，兩年後，蔡氏兄弟再拓展保險業務創立國泰人壽保險。到了民國五十九年，國泰集團的實力迅速壯大，經營的事業涉及金融、保險、交通運輸、建築、廣告、塑膠、租賃、紡織、食品飲料、電子、工程等眾多行業，已是台灣第一大企業集團。在長達四十餘年的創業歷程中，蔡家大權一直掌握在哥哥蔡萬春手中，蔡萬春成為蔡家的代表，其他蔡家兄弟在社會上的聲望也不很大，蔡萬霖跟隨兄長蔡萬春累積了許多難得的商業經驗，並形成了一套自己的商業哲學，使得他在民國六十八年分家後得以脫穎而出。
民國六十八年在蔡萬春的主持下，通過家族成員相互交換股權，蔡家兄弟正式分家，蔡萬霖取得國泰人壽、國泰建設、三進工程與國泰汽車工業等四家公司，並以國泰人壽保險公司為核心組成一個新的集團，當初也稱國泰人壽集團，後來才改為霖園集團。在長期的創業與經營過程中，蔡萬霖建立了一套自己的經營哲學。他提到，自己之所以有今天這樣龐大的事業與成就，是因為生活嚴謹、節儉與理財有方。他確立了自己的四大經營理念：
一、經濟腳踏實地，工作精益求精。
二、注重商業道德，講究職業良心。
三、重視保護權益，負起社會責任。
四、加強員工福利，兼顧股東權益。
蔡萬霖接手國泰人壽董事長之後，公司發展更為迅速，他將人身保險業務推廣到台灣的每個角落，設置了很多分支機構，他強調﹁重視保護權益，負起社會責任﹂、﹁爭取人人保險，家家幸福﹂，國泰人壽自民國七十五年起，提供五十億元資金作投保戶的創業貸款及工商企業貸款，這是保險業的創舉。在民國七十六年以前，台灣只有少數幾家人壽保險公司，國泰人壽公司具有壟斷性質。民國七十六年台灣開放外國保險公司設立後，人壽保險公司迅速增至三十多家，競爭十分激烈，國泰人壽也面臨巨大壓力，市場佔有率逐年下降，但仍居台灣壽險業的龍頭地位。
蔡萬霖的致富關鍵在善於利用國泰人壽的大量現金。根據統計，國泰人壽每天都有上億台幣的營業額，蔡萬霖對於公司鉅額營業額採取分散經營方式，以降低風險，他將所得資金的三分之一用於貸款，賺取利息；三分之一投入股票市場，並憑他高超的股市操作技術，賺取可觀利潤；三分之一投入房地產。龐大房地產是蔡萬霖成為巨富的主要原因，由於蔡家企業眾多，在台灣各地建立了大批樓房，僅國泰人壽保險公司就有一百八十棟房子，坐擁租金的收入和增值的利益就相當可觀，年租金就達數十億元。台灣在八○年代後期房地產價格暴漲，一些人將其歸咎於蔡萬霖炒作房地產和股票，更有人指名道姓批評蔡萬霖是﹁高保險、低理賠﹂，將所賺之錢投資於房地產與股票坐享暴利，蔡萬霖的社會形象一度受到打擊，﹁十信風暴﹂和﹁國信事件﹂更使蔡家的社會形象雪上加霜。
民國六十八年分家之時，蔡萬春的長子蔡辰男分得了國泰信託投資公司，次子蔡辰洲則分得了十信。蔡辰洲因為不斷投資購併虧損企業，在高息融資承擔不起鉅額利息後，蔡辰洲便利用掌控十信的便利，將大筆的銀行存款放貸給自己的家族關係企業。民國六十九年起，就不時發生十信員工向政府有關部門密告蔡辰洲挪用資金的事情，蔡辰洲利用蔡氏家族在政治上的強大影響力，將諸多檢查大事化小。到了民國七十四年，政府通過專項清查，十信被發現貸款總額已超過存款總額，無法繼續經營。消息公佈後，十信發生嚴重的擠兌事件，受十信影響，蔡辰男掌控的國泰信託投資也開始出現擠兌與退票，這形成台灣歷史最大的金融事件之一。
十信風暴發生後，蔡辰洲的債權人打著﹁蔡家債，蔡家還﹂的口號，曾要求蔡辰洲的叔叔蔡萬霖出面代還債務，然而蔡萬霖發表了一篇﹁情、理、法﹂的聲明，表示霖園集團與十信、國泰信託沒有關係，不承擔蔡辰洲與蔡辰男兩人的債務，但出於親情，蔡萬霖還是拿出三億元以救滴水之急。但這對十信和國泰信託只是杯水車薪，在政府大輸血平息擠兌之後，蔡辰洲共被判入獄六○○多年，由於患有輕微的小兒麻痺症，蔡辰洲在獄中很快不慎摔死；而蔡辰男則把整個國泰信託投資集團交予政府後，換得免罪遠走他鄉，而蔡萬春的其他三個兒子的企業，也在此事後經受重創而一批批倒閉。惟有蔡萬霖和蔡萬才兩人的企業存留了下來。蔡萬霖在這次事件中所受到的負面影響相當大。民國六十九年初台灣放開民營銀行，蔡萬霖也申請成立匯通銀行，但卻未獲通過。但他擴展事業的雄心並未消減，民國八十七年蔡萬霖麾下的第一信託改制為匯通銀行，民國九十一年改名為國泰銀行，隔年更斥資近三億台幣合併世華銀行成立國泰世華銀行，蔡萬霖成功地擴展他在金融業的版圖。
雖然家財萬貫，蔡萬霖在公益事業上不遺餘力，相繼成立了國泰綜合醫院、國泰人壽慈善基金會與國泰建設文教基金會三大公益事業，受到社會的肯定。國泰人壽慈善基金會以推動各項社會慈善活動為主，主要包括急難救助、慈幼、敬老、殘障等福利活動與公立大專院校獎學金等；國泰建設文教基金會以推動各項文教活動為目的，相繼成立了高雄苓雅、華園、台北名人等十二個霖園圖書館，以及中興、東吳等大學獎學金。
蔡萬霖晚年一直受心肌梗塞所苦，於八十七年第一次心肌梗塞發作住院，曾往返美國治療，接受冠狀動脈繞道手術，最後在民國九十三年九月二十七日病逝在台北國泰醫院，享年八十一歲，結束他絢爛的一生。
