關羽讀罷密函，不禁大哭。他當即寫了覆函，道：「兄長在上：當關羽素知仁義者不負心，忠勇者不畏死。關羽自幼便知禮義，豈有背盟之意？當日我守下邳城，內無積糧，外無援兵，本欲以死殉義，奈何尚有兩位嫂嫂在城，關羽有保護重責，因此未敢赴死而已。無奈唯有暫時寄身曹營，希望日後再與兄相見，直到近日，才得知兄的訊息。關羽必定立即向曹操辭別，護送兩位嫂嫂歸還。我若有二心，人神共戮，我心肝膽，筆墨難荊」劉備派來的使者道：「玄德望關將軍之心甚切，何不速行？」
關羽道：「人生於天地，若無始無終，終非君子之為也。
我來時說得明白，去時亦須清楚，煩請先將此私函呈交兄長，關羽辭別曹操，即護送兩嫂前來相見。」
使者道：「但若曹操不准你離開，卻又如何？」
關羽道：「我屆時唯有一死以謝天下。」
使者無奈，唯有先行攜覆函回去。
使者離開後不久，關羽也不猶豫，即人內堂，告知兩位嫂嫂，又立即趕去相府，向曹操辭行。
不料曹操已探悉劉備尚健在，又知關羽來意，便吩咐在相府門前，掛上謝絕訪客的迴避牌。關公不便硬闖，只好先行返回府中。
第二天早上，關羽又去辭行，但相府的迴避牌依然高懸。
一連三日均是如此，關羽知道，這是曹操刻意不允許他離去的表示。心道：我去意已決，豈能再留曹營呢？
關羽當下寫了一封辭謝信，道：「丞相臺鑑：關羽自小便跟隨劉皇叔，誓同生死，皇天后土，當聞我誓。當日下邳失守，我所請三事，蒙丞相恩允。如今關羽已知故主下落，回首昔日之盟，豈容違背舊主情義決難忘記。因此將呈上辭書，伏祈明察。餘恩未能回報，日後必定奉還。」
關羽派人，將辭行信送到相府，一面又將曹操多次封贈的金銀財物，原封不動，封存庫中，又把朝廷封鑄的「漢壽亭侯」金印懸掛於堂上。
辦妥這一切，關羽便人內堂，請兩位嫂嫂上車出行，關羽騎上赤兔馬，手提青龍刀，率領舊日親兵，護送車輛，逕直向北面城駛來。
北城門的守門官兵欲加阻攔，關公橫刀怒喝一聲，官兵均紛紛退避，讓出一條路來。
關公出了城門，對隨行的親兵道：「你們護送車輛先行，但有追兵，我自會抵擋，不要驚擾兩位夫人。」親兵遵令，護著車輛先行，向官道快速駛去，曹操此時正在相府，他果然是欲以迴避之法，以阻止關羽離去，心想：關羽一日未能辭行，他便一日不能離去，不料卻突接關羽送來的辭書。曹操閱罷，即大驚道：「雲長離開了。」
隨即又有守北門的官兵飛報：「關公奪門而去，車輛人馬二十餘人，正向北面行進。」
接著又有關公府上的探子來報，說：「關公將所有封賞的金銀財物，美女十人，漢壽亭候官印等，皆封存妥當，無一帶攜，只把舊日行李，連同舊日親兵帶走而已。」
此時，眾將均雲集於曹操的相府中，聽侯曹操的命令，諸將中，張遼與關公甚為交厚，徐晃亦敬重關公，其餘眾大將均敬服關公的義氣神勇，因此均默不作聲。座中卻有一員大將蔡陽不服氣，他站了出來，向曹操道：「豈能容關羽來去自如？
我願率鐵騎三千，追上前去，生擒活捉關羽回來，聽候丞相發落。」
曹操見在座諸將，張遼、徐晃、許褚、典韋等人，均默不作聲，知他們皆不欲與關羽反目為敵；況且目下袁紹大軍壓境，勝負尚屬未知之數，也決不能因關羽之故，先折自己實力；同時曹操亦深知，按關羽的脾性，就算能將他強留，今後亦必定不會為自己出力，倒不如一併向他示之以恩，日後尚有轉圓的餘地。
曹操思忖一番，終於長嘆一聲，道：「關公不忘故主，來去明白，真大丈夫之為也，你等均以此為榜樣。不必去追趕了。」
曹操接著又對張遼道：「雲長封金掛印，即功中富貴難動其心，金銀美女難移其志，這等義氣之人，我深為敬佩。我料他此行尚未去遠，你先去請他留步，待我趕去向他送行，更贈他徵袍路費，以便日後留有相見之情。」
張遼領令，單人匹馬，先去追趕，曹操隨後亦率許褚等數十騎趕來。
關公出了許昌城北門，已走了數十里路，因要護送車駕，不能速行，很怏便被張遼從後面趕上來了。
張遼在後面大叫道：「雲長請慢走。」
關公回身一望，是張遼單人匹馬趕來，便吩咐車駕親兵，只管北行，不必理會。他自己勒住赤兔馬，緊握青龍刀，待張遼騎近，即道：「你莫非打算追截我回去麼？」
張遼忙道：「非也，非也，丞相知關公遠行，打算前來相送，先令我前來請留臺駕，並無他意。」關公慨然道：「我心已決，就算丞相率鐵騎來追截，我亦唯有決一死戰而已。」於是橫刀立馬，向南面望去，等待曹操的駕臨。
不一會，曹操已率數十騎，飛奔前來。他背後是許堵、徐晃、于禁、李典等諸將，曹操見關羽單人匹馬，橫刀立於橋上，便令身後諸將勒住馬匹，成一字形排開。關公見諸將均未攜作戰兵器，這才放心，暗鬆口氣。
曹操見關羽單人匹馬，威風凜凜，心中又驚又佩更有不捨，他向關公含笑道：「雲長為甚走得如此匆促？」
關公在馬上，向曹操欠身作禮道：「關某昔日歸漢，已有言在先，但有故主訊息，即當馳往，多番前去相府拜辭，均未能參見丞相，因此才以信函辭拜，封金掛印，歸還丞相，希望丞相不要忘記昔日承諾。」