陳獨秀把章瑜提出的方案告訴了嶽王會的幹部之後，原本就已經不怎麼團結的嶽王會層立刻就陷入對立的局面。&&凡是已經面對現實，接受了嶽王會根本沒有單獨推行革命能力的幹部，都表示能夠接受章瑜的安排。依舊認為嶽王會能夠東山再起的幹部則是完全反對。即便這些強硬派知道人民黨官兵都要從事勞動。他們依舊固執的認為，自己與人民黨不同，身為幹部就不該幹些「低三下四」的工作。
爭論進行了大半天，包括常恆芳、範傳甲在內的幹部都不能接受人民黨的作風，陳獨秀也無法說服嶽王會的這些同志。以柏文蔚為代表的幹部已經接受了現實，他們乾脆拒絕與強硬派討論。會議不歡而散。
第二天，常恆芳等人找到陳獨秀，作為領表人物，常恆芳率先說道：「陳先生，我們準備離開安慶去湖北。」
雖然早知道這次衝突幾乎不可避免，陳獨秀也忍不住有些傷感。成立了將近兩年的嶽王會終於走到了自己的末路。常恆芳等人離開之後，選擇留在安慶的都會加入人民黨的隊伍，嶽王會的招牌再也不會有了。
「你們準備去投靠黃興先生？」陳獨秀問。
「投靠誰都比跟著人民黨強。」常恆芳幾乎是咬牙切齒的說道。這不僅僅是常恆芳的真實態度，其他嶽王會的幹部們也都是同樣的看法。
「陳先生，你不和我們一起去麼？」有嶽王會的幹部問。他們還是希望陳獨秀能和他們一起去湖北。
這是個很難回答的問題，陳獨秀覺得怎麼都說不出拒絕的話來。從某種意義說，這些選擇離開安慶的嶽王會幹部倒是堅持了嶽王會的存在，陳獨秀這個創始人反倒是選擇了脫離嶽王會。
「算了，人各有志。」常恆芳攔住了這些希望陳獨秀跟他們一起走的幹部。
趁著這個時機，陳獨秀連忙說道：「去湖北需要盤查，咱們剩下的銀子，都給大家分了。」
一次佔據安慶的時候，嶽王會從安慶的銀庫裡頭繳獲的銀兩隻剩了不到三千兩。這些好不容易留下的錢不僅僅是一筆錢，它也意味著嶽王會曾經有過的頂峰時期。陳獨秀下令，所有不想離開安慶的嶽王會成員，一人一兩，願意離開安慶的，把剩下的錢給平分了。最後有一百七十多人不願意離開安慶，剩下的兩百人選擇了離開。選擇離開的人有些是想去湖北，有些是選擇離開嶽王會。不管是什麼原因，陳獨秀都把錢分給了他們。雖然送錢並不雅緻，不過在這最後，送錢卻是最實在的做法。
隨著嶽王會繳獲自安慶銀庫的錢分發一空，這個曾經在中國一度名聲赫赫的組織徹底解散了。
常恆芳他們也不願意久留，安慶世面凋敝，連開個送行宴的酒店都找不到。而且這些人對人民黨實在是厭惡到了極點，既然決定離開，那是再也不想多見人民黨一眼。他們帶著行李坐了過江的渡船，在江對岸集合之後，常恆芳才召開了一個簡單的會議。「人民黨既然沒有把咱們兄弟們放到眼裡頭，咱們也沒有必要跟著人民黨丟人現眼，現在黃興和宋教仁先生回到了湖北，咱們不妨投奔他們去。」
這些人選擇離開安慶也未必是真的有什麼長遠的目標，不少僅僅是為了擺脫現在呆滯停頓的狀態，又不肯加入人民黨，這才不得不選擇離開而已。聽常恆芳說要帶著他們到湖北，一想到遙遠的距離，這些人心中就感到很大的不安。他們都是大手大腳錢慣了的，十幾兩銀子看著不少，其實根本就不夠。靠這些銀子做盤纏或許能夠找到黃興與宋教仁，但是接下來又能如何？若是不能再弄到一大筆錢，日子照樣是極為難過的。
常恆芳看得出這些人的想法，「富貴險中求，現在人民黨在安徽成了氣候，咱們若還是留在安徽，怎麼都會被人民黨壓制。大家都知道人民黨的頭目大多數都不是本地人，咱們在湖北幹起來，也未必比人民黨更差。」
即便是常恆芳極力勸說，依舊有一百多人選擇了回家，最後有七十多人選擇到湖北與黃興宋教仁匯合。其他人去各個方向的都有，而這七十多人的小隊伍頭也不回的向著西邊進發。