此時，他不得不把沉睡中的記憶喚醒過來。他首次用處在新環境中的人的那種銳利目光，去仔細分辨自己被領回家後的往事。
對生父來說，健三隻是一個小小的障礙物。父親幾乎不把他當兒子看待，總是板起面孔，認為不該領這麼一個廢物回來。這種態度和以往截然不同，使健三對生父的感情連根枯竭了。過去生父當著養父母的面對自己始終面帶笑容，現在卻把他當作包袱，待他十分刻薄。這一對比，他先是感到奇怪，接著就是討厭。可是他還不懂得悲觀。他那股隨著發育而產生出來的朝氣，任你怎麼壓制，還是會從下面硬頂著抬起頭來。他終於沒有產生憂鬱，就那麼過來了。
父親有好幾個孩子，毫不關心健三。父親認為：既然往後不想得到孩子的好處，即使花一分錢也很可惜，因為是自己的親生子，才不得已領了回來，可除了給飯吃之外，還要給予照顧，那就太吃虧了。
更主要的是：人雖說回來了，戶籍並未復原。不管在自己家裡如何精心撫養，必要時，人家又會把他帶走，到時只能落個一場空。
「要給飯吃，那是沒有辦法的事，不得不給。除此以外，我就管不著了，理該由對方負責。」這就是父親的理由。
島田也不愧為島田，他只顧從自己方便出發，坐觀事態的發展。
「什麼呀，只要先把人放在他自己家裡，終歸是好事嘛，等將來健三長大成人可以乾點事了，那時候即使打官司，也要把他奪回來。這不就行啦！」
健三既不能待在海里，也不能住在山上。兩邊把他推來推去，他在當中打轉。與此同時，他既吃海味，也拿山貨。
無論從生父來看，還是從養父來看，都不把健三當人，只不過當作一件東西。只是生父把他看作破爛貨，而養父卻盤算著往後還會有點什麼用處罷了。
「既然要把你領回來，雜工之類的事還是要讓你乾的，就做好這種思想準備吧。」
有一天，健三去養父家，島田不知為什麼順便這麼談起。健三嚇得連忙往回跑。一種殘酷的感覺，使孩子的心靈產生了輕微的恐俱。他記不清當時他是幾歲，但決心通過長期的學習，一定要使自己成為社會上頂天立地的人的這一慾望也正是在這個時候暴芽露頭的。
「要我當什麼雜工，那可受不了。」
他心裡反覆唸叨這句話。幸而這話沒有白唸叨，他總算沒有當雜工。
「可是，今天我又是怎麼成功的呢？」
他想到這裡，感到怪不可思議。這種想法也摻雜著同自己周圍的人巧妙地鬥爭過來的那種自豪感。當然，其中也包含著自鳴得意，因為他把未竟的事業看作大功告成了。
他把過去和現在作了比較，只是懷疑過去怎麼發展到了現在，卻沒有考慮自己正為現在作難。
他與島田的關係破裂了，這是託現在的福；他厭棄阿常，沒有與姐姐和哥哥同化，都是託現在的福；與岳父越隔越遠，無疑還是託現在的福。可是從另一方面來看，自己處在現在這個和誰都合不來的境地，又顯得多麼可憐！
作者「夏目漱石」的其他小說