之後，我便經常去先生家拜訪。每次去，先生都在家。隨著見面次數的增多，我往先生家也越走越勤了。
然而，先生對我的態度，打一開始的寒暄到熟識後的接觸都沒有什麼變化。任何時候，他都是沉靜的，有時甚至靜得令人寂寞。最初我就對他的不易接近感到不可思議，正因為如此，我同時又產生了一種無論如何都要接近他的願望。對先生抱有這種意念的，在眾人之中恐怕只有我一人，對我而言，這一直覺後來也被事實證明，所以，不管別人說我「幼稚」也罷，「傻蛋」也罷，我始終為自己具有預見性的可靠直覺感到可喜。一個可以熱愛他人的人，對他人不能不愛的人，對意欲投入自己懷抱的這個人，卻又不能張開雙臂，緊緊擁抱入懷的人——他就是先生。
如上所說，先生始終是沉靜的，沉著的。不過，有時他的臉上會掠過奇怪的陰雲，恰似飛鳥的黑影落在窗上，才現身影，轉倏而逝。第一次在先生的眉宇間看到這一陰影，是在雜司谷公墓冷不防叫了聲「先生」的時候。在那奇異的瞬間，以往一直快樂流淌的心潮不禁遭遇到阻塞，不過，這種阻塞只是一時的，沒過五分鐘，馬上又恢復了平時的活力，而且，我很快就忘記了先前的陰翳。不料，陰曆十月末的一個夜晚，我再次想起了這種陰鬱。
我正在與先生交談，眼前忽然浮現出先生故意提醒我看的那棵銀杏樹，算起來，再過三天就是先生每月的掃墓日，那一天我課少，只有上午有課，於是便對先生說：
「先生，雜司谷的銀杏樹葉已經掉落了吧。」
「還沒有全部落光吧。」
先生邊說邊盯著我看，一時間沒有挪開視線。我緊接著說：「這次去掃墓能允許我陪您去嗎？我想與您一起去那兒散散步。」
「我是去掃墓，不是去散步！」
「不過，可以順便散散步啊。」
先生沒有回答，過了一會兒才說：「我真的只是去掃墓。」看上去，他是要把掃墓和散步做一個清晰的切割，還說了些類似不願與我同去的藉口，我覺得，那時的先生怪怪的，活像個孩子。我還是想求得他的同意。
「掃墓也行啊，請允許我陪您去，我也去掃墓。」
實際上，我認為掃墓與散步幾乎沒有差別。如此一來，先生的眉頭緊皺起來，眼中放出異樣的光芒，那是一種既非厭煩、討嫌，亦非畏懼的隱隱不安的感覺。我立刻想起上次在雜司谷叫他「先生」時的記憶。他現在和當時的表情完全相同。
「我嘛，」先生說，「我有無法向你說明的理由，我不想和他人一起去上墳。連我的妻子也不曾陪我去過。」