永芹到了回疆也沒法子，他雖然不像斌靜那麼荒淫無恥，但庸庸碌碌的，也剿滅不了叛匪。張格爾招集了許多黨羽，又勾結外面的人，多次騷擾邊境。清兵過來攻打，他就逃跑，清兵走了，他就再來侵犯，就像膏藥一樣，粘到身上甩不開。有的時候，他又假裝來投降。弄得永芹焦頭爛額，一連折騰了三年，仍然沒有一點效果。道光五年夏天，邊關上報告張格爾大舉入侵，領隊大臣巴彥圖仗著自己體格好，率領著二百多人去剿滅，走了四百里，也沒有見到張格爾的蹤跡。他竟然勃然大怒，走到布魯特地方，看到有回民在游牧，老的小的，總共有二三百人，就下令讓士兵殺過去。嚇得回民四散逃跑，只有婦女和兒童一時跑不了，被他見一個殺一個，可憐這些無辜的人，都被巴彥圖殺死了。
巴彥圖稍微發洩心裡的鬱悶，立刻帶領隊伍回去。沒想到，逃回去的人，因為婦女和孩子被殺，都跑到回族酋長汰列克那兒哭訴。汰列克聽完大怒，立刻率領部眾二千名前來追襲，把巴彥圖圍住，十個殺一個，霎時間把清兵全部殺掉，接著就和張格爾聯合進兵，非常囂張。永芹沒辦法隱瞞，急忙請求支援。道光帝就把永芹召回去，命令伊犁將軍慶祥去代替，又讓大學士長齡去代替慶祥原來的職務。
慶祥到了喀什噶爾，招集司員章京及各城的伯克商議。伯克中有個阿布都拉，自稱對回族的事非常熟悉，慶祥就詳細詢問他張格爾的情形。他卻說張格爾是假名，冒充和卓木的後裔，以前都是阿奇木王努斯的謊報，所以才鬨動一時。參贊大人現在到了這裡，根本不用一兵一卒，只要說張格爾不是回族，回民肯定立刻不去依附他了，這樣這群反賊很容易就能消滅了。
慶祥信以為真，一面通知回族人民，一面揭發批判阿奇木王努斯謊報的罪狀。張格爾得到這個訊息，也害怕人心離散，就帶著五百人回到回城，拜奠他先祖和卓木的墳墓。回徒叫和卓墳為瑪雜，非常尊敬。瑪雜在喀城外，距離喀城約八十多里，乾隆時，大小和卓木被滅掉，所有喀城外原有的和卓等墓，仍然下令讓回族人看守，不準上去砍柴、撒尿之類的。
張格爾就打算藉著祭祖的名頭，固結眾心。因為有這番舉動，協辦大臣舒爾哈善、領隊大臣烏淩阿急忙報告給了慶祥。慶祥急忙召見阿布都拉，阿布都拉已經不知去向。慶祥頓時有些倉皇失措，還是舒、烏兩人報告說：「張格爾深入喀境，非發兵驅逐不可。」
慶祥點頭，命令二人帶一千多名士兵去攻張格爾。二人早晨出發，傍晚到達，仗著銳氣殺死回眾四百人。張格爾退到了大瑪雜內，倚著三重牆垣，誓死固守。又派人去散播謠言，說清軍要剷除聖墓，屠盡回族的子孫。回民聽說以後非常驚恐，很快聚集了幾千人，去救張格爾。舒、烏兩大臣正在圍攻瑪雜，忽然看見回民像潮水一樣湧過來，急忙分兵抵禦，沒提防張格爾也乘勢殺出來，內外夾攻，把清兵殺得七零八落。舒大臣陣亡，烏大臣踉蹌逃回去見慶祥。慶祥急忙調派各營士兵，全部聚集到喀什噶爾，保衛喀城。
張格爾倒也不敢逼得太緊，又派人到浩罕國求援。浩罕王摩訶末阿利剛即位，知人善任，威服附近哈薩克各個部落。當時有百回兵不如一安集延的傳聞，安集延就是浩罕東城。張格爾跟浩罕約定，等得到回疆西四城後，子女玉帛可以平分，還答應割讓喀城作為酬勞。
浩罕王大喜，當即答應發兵，讓來人先回去。張格爾知道有後援了，立刻率軍大舉進攻。前哨到了渾河，打聽到喀域外面只有三座清營，報告給了張格爾。張格爾說：「這麼說來，天山北路的清軍還沒有南下，我們得趕緊前進才好。」於是下令渡河。
忽然有人報告說浩罕王親自率兵趕過來了，張格爾不由驚疑地說：「浩罕的兵怎麼來得這麼快？這可真是出乎意料。我還以為清朝大部隊聚集到這兒了呢，所以才請求浩罕幫忙，現在喀城守兵這麼少，半天工夫就能攻下來，還要浩罕的兵有什麼用？」於是，他就想抵賴，立刻派人到浩罕軍前，叫他不用前進了。
浩罕王非常憤怒，竟然率軍渡河，圍攻喀城。張格爾一看阻擋不了浩罕的人，就暗地裡安排人去阻截浩罕王的退路。浩罕王攻城好幾天，心急攻不下來，又打聽到張格爾不懷好意，害怕腹背受敵，就連夜帶兵回去了。
剛渡過渾河對岸，樹林中就殺出一幫回眾，大叫浩罕王別走，吃我一刀。浩罕王不看不要緊，一看差點沒把鼻子氣歪，這人正是張格爾。浩罕王氣得無名火高起三丈，立刻率兵接戰。
黑夜裡也分不清回眾到底多少，就覺得越殺越多，四面八方好像都是回部的旗幟，安集延兵馬雖然精銳，這時候也有點膽怯，浩罕王急忙奪路逃跑。還有安集延兵二三千名被張格爾圍住，無路可退，沒辦法只好繳械投降了。
張格爾把這幫人收為親兵，又去進攻喀城。這時喀城外面的清營抵禦安集延兵已經好幾天了，累得人疲馬倦，哪裡還經得起張格爾這支生力軍又殺過來，領隊大臣烏淩阿、穆克登布全都戰死了。
慶祥困守孤城，左思右想，也沒想出個辦法，最後一咬牙，懸樑自盡了。喀城無主，就被張格爾攻破了，緊接著他又佔領了英吉沙爾、葉爾羌、和闐三城，回疆西四城也全都淪陷了。
清政府接連線到警報，急忙遣兵調將，忙得不得了。道光帝下了道聖旨，命令陝甘總督楊遇春為欽差大臣，統領五千陝甘兵趕赴回疆，會合各路人馬去剿滅叛軍。又命令陝西巡撫盧坤，趕赴肅州去辦理軍餉。
命令剛下達，緊接著又接到了伊犁將軍長齡的急奏。報告中說：「匪軍已經佔領了巢穴，正在蠢蠢欲動，喀城距離阿克蘇兩千裡，四面是回村，中間大多是戈壁，不是伊犁烏魯木齊六千援兵就能收復的，懇請迅速發大兵四萬，用一萬五千兵力來保護糧臺，二萬五千兵力來剿滅匪軍。」
道光帝看完以後，立刻任命長齡為揚威將軍，頒發證書，軍營大小官員都受他的管制，伊犁將軍的職務則暫時由德英阿代理。又命令山東巡撫武隆阿率領吉林、黑龍江三千騎，出嘉峪關，與陝甘總督楊遇春一同擔任參贊大臣，去剿滅匪軍。
回疆一共分為八城，西四城已全部失陷，還有東四城未失：一名喀喇沙爾，一名庫車，一名烏什，一名阿克蘇。阿克蘇為東部的屏障，張格爾派兵入侵，直到渾巴什河，距離阿克蘇只有四十里。城中的兵還不到一千，人心惶惶，幸虧辦事大臣長清派參將王鴻儀領兵六百，守住河岸，兩戰兩勝，回民這才退回去。不久援兵趕到阿克蘇，東四城這才得以保全。
道光帝又命令長齡查辦歷任回疆官員，長齡舉報了斌靜、色普徵額、巴彥圖、綏善等人的情況。於是，皇上就下命令將斌靜、色普徵額弄進了監獄，打算砍腦袋；綏善被髮配到了黑龍江；巴彥圖因為濫殺，死了不能算是因公殉職，只是稍微照顧。又讓辦理糧餉的大臣定好體例，繪好圖，核實開銷，不能胡花濫花。並且開採回疆的銅山，鑄普爾錢，分配給烏里雅蘇臺和伊犁分別牧牛馬駱駝，以接濟軍用，回疆的軍務這才稍微有點起色。
道光七年，揚威將軍長齡率步騎二萬二千名，由阿克蘇出發，一路行進，沒有看到敵蹤。到了洋阿巴特沙漠，已經過了半個月，糧食也都吃光了。正在恐慌的時候，忽然有人報告說，前面五六里外有幾座敵營。長齡就下令說：「我們從阿克蘇趕到這裡，糧食已經吃光了，現在敵營就在前面，不趁著這個時候去搶糧食，還等到什麼時候！」
將士們得到這個命令，個個摩拳擦掌，士氣高昂。長齡就把士兵分為三隊，自己和楊遇春領中軍，武隆阿領左翼，楊芳領右翼，三路進攻。回眾據岡迎敵，由高臨下，聲勢也不弱。
清兵奪糧心急，顧不上什麼石頭弓箭，拼了命地往上衝。回民抵擋不了，紛紛四散潰逃，剩下的牲畜糧食，都被清兵給搬走了。清兵有了糧食，精神頭倍兒足，接著追到沙布都特。這兒有很多葦湖，回徒四處分扎，決水成河，來阻住清兵去路。長齡命令士兵冒險趟水過河，用短兵接戰，又率領騎兵繞到左右水淺的地方，來阻截敵人。