不久，父親從重慶回到上海。可是，久盼始歸的父親並沒帶給我多少歡樂，因為父親在重慶期間又有了殷夫人。回到上海後，父親就與殷夫人住在一起。母親許是早就知道了，因為我的記憶中，她倒默默地接受了那種令人心碎的現實。父親一生有過三位夫人，這一點也是我青年時代不能諒解他的重要原因之一。父親的第一位夫人是吳弱男女士，她是父親風華正茂的青年時代的革命伴侶。吳弱男女士出身安徽名門，為中國最早一代婦女運動的先驅者之一。她還是孫中山先生同盟會的會員，與孫先生、孫夫人很接近。父親晚年和我閒聊較多，記得1972年有一次他因病住院，我去探視並和他一同吃晚飯。那天他興致很高，談到他早年在東京的一段歷史。他說，1904年《蘇報》（父親任主編）被封后，他與楊守仁等成立反清愛國協會。後事發，父親等十餘名革命志士相繼被捕，在獄中備受折磨，後來由蔡鍔、黃興等人營救，作為嫌疑犯交保釋放。父親出獄後於1905年春流亡到日本東京。

在東京，父親與摯友黃興同住一處。經楊度介紹，父親結識了孫中山先生，常在一起共議天下大事，十分投機。這年8月，同盟會在東京成立。許多留日學生紛紛要求參加。孫中山先生原以為父親必是同盟會的積極成員，沒料到他竟不願入會，父親一生堅持做個無黨派人士。當時父親的結義兄弟章太炎也到了日本。他也和其他同志一起苦苦勸說，父親卻不為所動。太炎先生知道父親當時對吳弱男女士甚為傾慕，於是生出一計，請吳女士出面動員父親加入同盟會。不料父親仍未動搖，吳弱男女士卻通過此番接觸成了父親的未婚妻。父親對我說，後來孫中山先生談及此事時，戲稱：「同盟會與章行嚴的關係真乃‘賠了夫人又折兵’。」說到這裡，父親開懷大笑。

1907年，父親赴英國就讀愛丁堡大學，攻法律、邏輯學。隨後，吳弱男女士也到了英國。1909年，他們在倫敦結婚，大哥章可出生在英國。

不過，父親後來與吳夫人感情發生裂痕。這似乎是因為吳夫人個性很強，致力於婦女運動而不善家務。用現在的話說是「女強人」這一類的婦女活動家。而父親在有了相當的社會地位之後，大概需要一個不介入社會活動、溫順美貌的女性做妻子，因而終於在20年代末與吳夫人離異並與我的母親奚夫人結合。吳夫人帶著她的三個兒子赴歐洲定居，直至歐戰爆發才回國。

抗戰勝利後，父親的三位夫人都住在上海。據說吳夫人同殷夫人倒常見面，禮尚往來，只是我母親奚夫人同她們兩人從不見面。吳夫人每月來我家一次，但她只同父親在樓下會客室會晤。凡知道她來時，我和鄰居的孩子常常以極大興趣趴在樓上陽臺邊等她出來看她的服飾、帽子，因為吳夫人直到晚年都堅持穿歐洲30年代的服裝，出門戴大簷邊帽子。我們這些孩子喜歡在她出門時從上往下看她帽子上的絹織花朵，有時還有絹制葡萄等水果點綴。