我主持的《文星》雜誌是1965年12月26日被官方封殺的，自此四年的文星風雲，慢慢走向落幕。這時我三十歲。第二年開始，官方大規模地查禁我的著作，不管是文星出版的，還是我自己出版的，都在封殺之列，同時，由於胡秋原、徐高阮等的陷害，我被警備總部約談，儼然一「匪諜」矣。這時我三十一歲。1967年，雖然官方麻煩不斷，個人困難重重，但我還是義助殷海光。這時我三十二歲。1968年，我以販賣舊電器維生，暗中支援其他出版活動，並義助柏楊。這時我三十三歲。1969年，我又義助彭明敏。這時我三十四歲。這四年歲月，我整個的感覺如同陶淵明《擬古》九首中的最後一首：
種桑長江邊，三年望當採。
枝條始欲茂，忽值山河改。
柯葉自摧折，根株浮滄海。
……
本不值高原，今日復何悔？
陶淵明詩裡說他在長江邊種桑樹，種了三年，剛要收成的時候，忽然山河變色，桑樹「柯葉自摧折，根株浮滄海」，一切成績，都消失了，但他並無悔意，因為「本不值高原，今日復何悔」？——本來就不在安全地帶種樹，又有什麼好後悔的呢？這詩舊解都說以桑樹喻晉朝，但我覺得喻自己的努力，才是正解。自己的努力，在亂世之中，一切都泡了湯，泡了湯並不後悔，因為本來就志在犧牲，又何悔之有？《逸民傳》裡記鬼谷子對蘇秦張儀說：「二君豈不見河邊之樹乎？僕御折其枝、風浪蕩其根，此木豈與天地有仇怨？所居然也。子見崇岱之松柏乎？上枝幹於青雲、下枝通於三泉，千秋萬歲，不逢斧斤之患，豈與天地有骨肉？所居然也。」正因為所居之地，是易遭「斧斤之患」的所在，所以柯葉之折與根株之浮，也就毫不意外了。這首詩有強烈的「求仁得仁」味道，意態悠遠可喜。陶淵明《歸園田居》五首中第三首也是我最喜歡的：
種豆南山下，草盛豆苗稀。
晨興理荒穢，帶月荷鋤歸。
道狹草木長，夕露沾我衣。
衣沾不足惜，但使願無違。
陶淵明寫他在廬山種豆的種種辛苦，最後晚露弄溼了衣服，舊解「夕露沾衣，喻貧賤之來傷人也」，但我覺得不計一切犧牲以維持夙願，才是正解。我甚至覺得，這首詩該引申解釋做志士仁人為夙願奮鬥，有時會灰頭土臉、會犧牲自己的名譽，但名譽毀了也不足惜，只要能救國救民就好了。對我個人說來，我在文星的努力，也正有陶淵明這種詩情。
文星時代朋友中，有人是從頭到尾看到「柯葉自摧折，根株浮滄海」的局面的，其中最值得一寫的，是梁實秋先生。1961年10月1日，我在《文星》發表《老年人和棒子》，其中提到：老朽昏聵賣身投靠的一輩我們不必說，即以最開明一代的老先生而論，從寫《人權與約法》時代的胡適之到寫《容忍與自由》時代的胡適之；從《人權論集》時代的梁實秋到《遠東英漢字典》時代的梁實秋，我們多少可以看出他們轉變的痕跡。弗洛斯特在他那首《預防》（precaution）裡說，他年輕時不敢做一個急進派，因為怕他年老時變成一個保守派，我並非說胡適之與梁實秋已變成保守派，我是說，他們今日的「穩健」比起當年那種生龍活虎意氣縱橫的氣概是不大相稱的！寫《老年人和棒子》的時候，我還不認識梁實秋先生，後來認識了，聊過許多次天，證實我那篇文章的診斷，完全無誤。梁實秋在臺灣，雖然「安分守己」，卻也被國民黨猜忌過。他告訴我：他家被搜查過一次，「一天有人叫門，開了門，進來許多治安人員，問你是這家主人嗎？我說是。他們說美國新聞處丟了一臺打字機，有人說是你偷的，我們要來搜查。我說我是梁實秋，是大學教授，總不至於去偷美國新聞處的打字機吧？你們各位是不是弄錯了？他們聽了，拿出一張紙，上面畫著我家的平面圖，連說沒弄錯，就是你家。於是不由分說，進了屋裡，到處翻箱倒櫃起來，鬧了好一陣，什麼也沒搜到，然後要我具結他們沒帶走任何東西，就走了。事後我寫信給吳國楨抗議，可是一直沒有下文。」據我研判，國民黨當年對梁實秋這番「戲弄」，有兩個目的，第一個目的在查他跟民社黨、跟羅隆基等的關係；第二個目的在警告他要識相，在臺灣，知識分子有頭有臉而非國民黨如梁實秋者，畢竟不多，現在大家已經淪落到臺灣來，對老子們要客氣一點！偷打字機事件後，還有一次他被告到蔣介石那兒，幸虧他提出毛澤東在延安抨擊他的文藝談話，才得過關。他還告訴我：他譯的那本《沉思錄》（meditations），作者是2世紀的羅馬皇帝marcusaurelius，由於中文譯名是瑪克斯，竟被國民黨官方認為是19世紀的馬克思（karlmarx）而惹過一點小麻煩。他還告訴我一些秘聞，例如《查泰萊夫人的情人》（ladychatterley’slover）的一箇中譯本，擅掛他的名字，事實上根本不是他翻的；溥儒家裡養了一對夫妻，事實上全和這位大藝術家有關係……他還談到他很欣賞當時的柳腰歌星華怡保，事後我請蕭孟能買了入場券送他，他欣然而往。這些瑣事，都可看到另一面的梁實秋。梁實秋在1929年與胡適、羅隆基合著《人權論集》（上海新月書店版），靠著胡適，也對國民黨有太歲頭上動土的文章；後來又以民社黨黨員身份，靠著張君勱，也對國民黨不無失敬之處。如今淪落臺灣，自然不敢造次。他在臺灣三十八年，一直乖得要死，他毅然決然地從民社黨中脫隊了，遇到國民黨要他捧場的地方，不論是為反共義士做宣傳、不論是為文藝大會做樣板、不論是讓大官人向他頒獎贈勳，他都無不從命。有一次他跟我說，一次文藝什麼會上拖他去，他感覺好像被人耍了，後來轉而自思，被耍就被耍吧，也就即席安之，我聽了，心裡很難過，我覺得一代大儒，不可以軟弱如此，但梁先生卻如此軟弱，他太令人失望了！當年郭良蕙出版了一部名叫《心鎖》的書，臺灣省政府新聞處以（52）公新一字第0319號函，予以查禁，同時中國文藝協會攔腰做上一票，趁機把郭良蕙開除了會籍。郭良蕙跑到梁實秋家去抱怨，梁實秋是這樣答覆的，他說：「郭良蕙啊！這件事有兩個錯誤：第一個錯誤是他們不該開除你；第二個錯誤是你不該加入。」梁實秋把這個故事告訴我了，我覺得很可以警世，所以至今沒有忘記。梁實秋說這故事的時候，他自己也是中國文藝協會會員，而我卻不是——對國民黨的任何會，我是不屑參加的。
1965年12月28日，《文星》雜誌被罰停刊一年，《紐約時報》請我寫新聞稿，乃與蕭孟能一同拜訪梁實秋，請代為英譯，但他表示為難。談了兩個小時，告辭出來，蕭孟能和我都覺得梁實秋連這點小忙都不幫，真與文星對他的尊敬不太相稱了。
文星風雨飄搖之日，我被警備總部捕去約談，最後由特務陪同，放出找保。我走在馬路上，心想這種政治性的案子，誰敢保我？看樣子只好找一位德高望重的名氣大人物保一保，方不致連累他。想來想去，以為人既放出找保，事情不大，因此路過樑府，登門為請。不期梁實秋在特務面前，婉為拒絕。他對我說：「你還是找別人保吧，實在找不到別人，我再保你。」我識相而退，最後找到「立委」王兆民先生保了。當天晚上，他打電話給余光中，表示未能保我，至感難過。從此以後，我恍然大悟：決定自己處逆境時，絕對不要妄想正人君子會援之以手。此後二十年間，我再也不敢「連累」他了。直到1987年5月間，為了他一稿兩賣，涉及文星版權的事，我們才通過信，五個多月以後，他就死了。在他死前最後十年，他與我比鄰而居（他住在我家大廈旁邊的電梯公寓裡），古人「天涯若比鄰」，我卻「比鄰若天涯」，梁實秋說他自己在臺灣過的是「苟且偷安、逃避」的生活，我卻不屑如此。雙方有這麼大的差距，多麼「天涯」呀！
我寫《胡適評傳》出版後，梁實秋寫了一篇《讀（胡適評傳）第一冊》，對我是很捧場的。那時我在文星威風八面，文星勢力如日中天，文壇中人，做「敖之頌」者，自余光中以下，頗不乏人；而余光中以上，梁實秋等亦與焉。後來文星被封，最早對文星不夠意思的，卻又是梁實秋、余光中等正人君子。蕭孟能當時在日記中曾痛感於此。梁實秋在文星盛世，與我們交情，大有王婆口中之「小」，那時胡秋原罵蕭孟能「一書賈耳」，梁實秋乃寫篆文「一書賈耳」一方，以贈孟能。那時我尚未戒酒，梁實秋乃以金門名酒兩瓶，以贈敖之。後來文星被封，梁實秋與李敖劃清界限，日見其嚴。從此這篇《讀（胡適評傳）第一冊》之文，即不見收於他的文集矣！不但生前如此，他去世後，報章上炒他的遺作，解數畢出，從少不更事之文，到老猶多情之作，無不遍搜靡遺。但我奇怪，梁實秋生前的這篇重要佚文，卻為什麼總被忽略了？想是李敖問題太多，以致禍延梁文吧？
余光中也是文星時認識的朋友，此人是王安石看不起的「福建子」，為人文高於學、學高於詩、詩高於品，但聊天時蠻有趣，尤善巧思。他為人最喜招朋引類、結黨營私，我在文星時，他極力拉攏我，邀我參加師範大學的「現代詩朗誦會」，奉我為貴賓，介紹到我時，人人爭看文化太保真面目，掌聲之大，無任何人能比。事後詩人夏菁說：「他這種散文家這樣受歡迎，我們下次非讓他也朗誦幾首詩不可！」余光中又拿梁實秋和我的文章在師大的翻譯課班上試由學生翻譯，試驗結果，認為我的文章比梁實秋的容易譯，換句話說，語法比梁的西化得多。他又約我到他課堂上演講了一次。凡此種種，都是刻意交好的動作。後來文星被官方封門，勢利眼的余光中也就見風轉舵。最不該的，是他明知文星被勒令停業，他在香港談話卻說文星結束，是經濟上的原因、是經濟上的經營不善！他對國民黨政府的血手封店，不敢置一詞，反倒如此曲為之諱，真是太沒脊樑了。余光中曾有一文名《豈有啞巴繆斯？》，他不敢說真話，至少也該啞巴一下，別說假話，可見「啞巴繆斯」，亦未易為也。為了報復他的可惡，近二十年後，我受蕭孟能太太朱婉堅之託，到法院告余光中違反著作權，為了他把賣斷給文星的著作一物兩賣，在法院，余光中狡賴說所謂的文星書店只以出版一次為限，事實上，若只以出版一次為限，即付「三千元」，當年余光中尚無此身價！余光中這種自抬身價以為狡賴的方法，在我代朱婉堅控告滿臉買賣人相的蔡文甫時，也同樣發生過。蔡文甫竟說他當年跟文星簽約，是「不平等條約」，我在法庭上斥責他，說：「當年簽約你蔡先生又不是小孩子（那時他實年三十八歲）、又沒有心神喪失、又沒被暴力脅迫，契約如有不平等，你為什麼要籤？何況那個約，比你們現在九歌出版社跟作者的約，在許多地方，還對作者有利得多，你說不平等，是什麼意思？當時買斷你的大作，付了你三千元，那時一幢新公寓才不過十二萬元，三千元不是小數目，如果說有不平等，我看該是文星根本不該出那三千元！——其實一塊錢都不必付你，你也會高高興興給文星出書，因為你當時尚未成名，一登《文星》，身價十倍。如今你這麼‘有名’啦，也該想想當年文星捧你有功吧？也該回饋回饋文星書店負責人蕭太太吧？可是，你出了文星的書，甚至禮貌上都不送蕭太太一本，我給你的存證信你也悍然不回，今天還說什麼不平等的話，你可真好意思！你現在也是開出版社的人了，假如有一天，你的九歌也像文星一樣，被政府給關了門，作者們這樣對你，你願意嗎？」我這番話，說得蔡文甫面紅耳赤，完全不能回嘴了，余光中的情形，也大率類此。
文星為余光中出書時候，他親筆寫自吹自擂的廣告詞，自道：「中國文壇最醒目的人物之一，余光中是詩人、散文家和翻譯家。減去他，現代文藝的運動將寂寞得多，他右手寫詩，左手寫散文，忙得像和太陽系的老酋長在賽馬。」如今他簽下與文星這種約，真不知該怪右手還是該怪左手，《新約》中說不要叫左手知道右手乾的事，理論上反之亦然。但兩手相互間縱不知情，簽約者必居其一，總不能不認賬也！16世紀英國總主教克蘭默（thomascranmer），在被火刑處死前，曾譴責他的手，說他的手寫了太多的違心之言，而該先遭火燒（「……ihavewrittenmanythingsuntrue.andforasmuchasmyhandoffended，writtingcontrarytomyheart，myhandshallfirstbepunishedtherefore；for，mayicometothefire，itshallbefirstburned.」）有的歷史沒記載總主教怪自己的右手還是左手，四百年後如時光倒流，只有余光中能現身說法，提供解答了！基本上，余光中一軟骨文人耳，吟風月、詠表妹、拉朋黨、媚權貴、搶交椅、爭職位、無狼心、有狗肺者也。他開會開到外國去，在加拿大參與國際筆會，大會關心大陸被捕下獄作家，余光中與焉。令人奇怪的是，當臺灣被捕下獄作家在牢中的時候，余光中為何不關心？會喊「狼來了」的他，卻為何為虎作倀？至於筆上寫「天安門，我們來了」的詩人，卻在臺北景福門納福，且為詩拍蔣氏父子馬屁，更證明此人是勢利中人，絕無真正詩人的真情可言也。
余光中介紹一個人，叫王敬羲。梁實秋跟我講了一個笑話，他說每次王敬羲離開梁府，都要偷偷在門口留下一泡小便才去。梁實秋一直裝作不知道。有一天，王敬羲居然很神氣地自動招出來，他說：「每次我都撒泡尿才走，梁先生知道嗎？」梁實秋答道：「我早知道，因為你不撒尿，下次就找不到我家啦！」王敬羲是余光中的朋友，人嘻嘻哈哈的，倒也爽快，只是以文化人兼市儈，可鄙而已。在蔣介石下令撲殺文星時，他在香港打出文星招牌，雖擴散文星毒素有功，但自己趁機中飽，卻是實情。他向我約稿，我寫了一本《借古不諷今》，偷裝在茶葉筒裡，由一香港來的女作家攜出臺灣，他印出來了，卻一文不付版稅。我被捕後，他在《南北極》雜誌有以聲援，可以肯定。但從我復出後，他卻一路造謠，竟說國民黨有意把李敖放出來了，又在蕭孟能誣告我的案子中助蕭為虐、落井下石，種種行為，十足是文化小人。他又盜印柏楊的書，雖中飽版稅，但在柏楊出獄後向他討錢時，他卻給了柏楊一些，大概是勾引柏楊老婆後的內疚吧？柏楊做了王八頭而不知，還感謝王敬羲呢。我們深知內情的，都忍不住竊笑。
在文星時代，有一次我同何凡等聚餐，何凡揚揚得意地說他在《聯合報》寫「玻璃墊上」，「一連寫了十多年，還不出事，可見段數之高。你李敖整天惹警備總部，是何道理？」我說：「何凡啊！你還好意思說嗎？你獨佔專欄地盤，有別人享受不到的好機會，有這麼大的宣傳媒體，你整天寫的，上限不過大官的白眼，下限不過公車的黑屁，然後就是誰跳多高、誰跑多快、白菜蘿蔔多少錢一斤……你十多年來，沒把言論自由的尺度寫寬一點點，沒給警備總部這些大老爺們施以一點點教育和教訓，你不覺得你失職嗎？你還好意思這麼得意嗎？」何凡雖然討人厭，但他太太林海音卻很好。她主持《聯合副刊》時，我曾投稿，有的用了有的不用。她雖然膽子不大，但比起後來政工系瘂弦之流來，卻高明寬大得多。她在文星後期，到我家看我一次，也預約過我的「告別文壇十書」，此後就不敢再和我來往了。十多年後，我出獄歸來，在路上一遇，聊了幾句，再見面時不幸已對簿公堂——我代蕭孟能太太朱婉堅追究版權，告了多人，她也在其中。她在法庭上遁詞說：「她所以沒通知蕭太太，因為找不到她。」我說：「蕭太太過去有錢的時候，你們為什麼找得到她呢？」林海音為之語塞。無論如何，林海音是位不錯的朋友，雖然我們早就「幽明異路」了。
我代朱婉堅追究版權的官司，在法院方面全部都不順利，這當然和國民黨的司法黑暗有關。不過在一片黑暗中，我倒看到一幅光明的畫面，那就是1987年6月8日《民生報》來訪問我時，做記錄的一位小女生徐開塵。她進我家門時，一片清秀脫俗、神韻飄逸，使我眼睛一亮，我一邊接受訪問，一邊偷看她，她真耐看！——習慣上，我看到漂亮女人，都一邊看一邊挑她的毛病、找她的缺點，以便不再留戀，但這小女生卻挑不出毛病，並且愈看愈有餘味。此後幾年，這小女生和她的同事邱海嶽、林英哲等，與我聚餐過幾次，每次聚餐，我都忍不住要偷看她幾眼，非常舒服，有一次在敦化南路碰到她，我說你為什麼不打電話給我，她說打過一次你不在，我說為什麼不打第二次，她笑而不答——她的笑，可愛極了。又過了幾年，我從凱悅大飯店出來，看到基隆路對面有人一再向我揮手，我過馬路一看，原來是這可愛的！旁邊有兩位她的同事。我半開玩笑地點破，我說你知道這麼多年來我一直對你單戀嗎？她又笑而不答——她的笑，可愛極了。