薛懷義十分難過，認為武則天的心已經給了御醫沈南璆。他心死之餘，做了一件事。正月十六的夜裡，薛懷義縱火焚燒天堂，火勢迅猛，很快蔓延到明堂，大火熊熊，把神都的黑夜照耀得如同白晝一般亮堂。到天明時，天堂和明堂一同化為灰燼。昔日氣派壯麗的建築成了一片焦土。
縱火燒燬明堂之後，薛懷義才感到不妙。他忐忑不安，提心吊膽，惶惶不可終日，拿不準武則天會怎樣處置他。可是幾天過去，武則天沒有動作。薛懷義就犯嘀咕了，以他對武則天的瞭解，這個事她不僅不會饒他，而且不會輕饒他。以女皇說翻臉就翻臉的個性應當是雷厲風行，怎麼會沒動靜？這是暴風雨來臨之前的片刻安寧嗎？
對明堂和天堂失火一事，朝廷大臣當然要議論。有的說，這是上天給予的警示，武則天應該下臺。還有的拍馬屁，說這是祥瑞，吉祥的預兆。因為根據史書，當年周武王討伐商紂王，在過河的時候天降大火，後來周武王果然打敗了商紂王。由此推理，大周也必定興旺。這兩種截然不同的說法，搞得武則天心裡也不安，當然武則天更相信這是上天的警示。因此，薛懷義這一把火不單燒燬了大周王朝的標誌性建築，還給武則天留下了深刻的心理陰影。
表面上是一派風平浪靜。薛懷義毫髮未損，在納悶中度日如年。萬歲通天元年（696年）二月，薛懷義突然死了。
不用說，所有人這時都會想到，一定是武則天秘密殺害了情人馮小寶。她不公開下令斬殺，是因為怕丟臉。薛懷義縱火燒燬明堂和天堂，罪大惡極應當處死，這合情合理。可問題是，他縱火的理由是和御醫沈南璆爭風吃醋，這不能公之於眾啊！因此武則天不聲不響，命人暗算了自己的老相好。
薛懷義算是徹底被打倒了。當然武則天也沒閒著，接著又找到了一對兄弟面首：張易之，張昌宗。
這哥倆是定州義豐（今河北安國）人。張易之，江湖人稱「五郎」，白皙貌美，兼擅音律歌詞。張昌宗是張易之的親弟弟，排行第六，也是難得一見的美男子。他們家族叫中山張氏，在秦朝就有他們祖先的記載，當時那個人叫張蒼，是荀子的學生，與李斯和韓非都是同學。在秦朝的工作是御史，劉邦起義後，就進入了西漢。因為協助劉邦鎮壓叛亂的臧荼，被封為北平侯，到漢文帝時期，做了十五年的宰相。京劇有一齣《盜宗卷》，裡面的老生張蒼就是張易之、張昌宗他哥倆的祖先。
秦朝到大周，有近一千年的歷史，張蒼對張氏兄弟的人生產生不了什麼影響。在張氏家族裡，唐朝官做得最大的，是兄弟倆爺爺的兄弟，名字叫張行成，就是唐高宗李治繼位第一天，任命的三位宰相之一。
張氏兄弟家族發達，張易之、張昌宗作為親戚能享受福利，經過考試後進入了上層社會，但只是當了一個小官吏，那怎麼樣才能讓武則天看上呢？
這還要從當年薛懷義放火說起。在放火的地方，又建了一座建築，更高更豪華，它就是通天宮第二代。等一切都平靜下來，武則天的小女兒太平公主知道自己母親心裡不是滋味，覺得還得給母親找一些好的小夥子，於是又找到了一個膚白貌美的年輕小夥張昌宗，武則天試用過後，就錄用了他。
張昌宗隨即向武則天介紹自己的哥哥張易之，說他的才幹超過自己，而且還善於煉製丹藥。武則天立即召見，對英俊瀟灑的張易之大為欣賞，召見當天就任命張昌宗為雲麾將軍，張易之為司衛少卿，賜住宅一處，絹帛五百段，大量的男僕女婢、駱駝、牛馬供他們使用。張氏兄弟進宮任職不到十天半月，權勢震驚天下。就連武家的子侄見到他們兄弟二人，也要搶著討好巴結，親自牽馬遞鞭，稱張易之為「五郎」，張昌宗為「六郎」。
武則天是個很勤奮的皇帝，喜歡把權力都抓在自己手裡，做任何事都恨不能親力親為。聖歷三年（700年）後，武則天已經是近八十歲的老人了，再也不能像從前那樣事無鉅細地管理，她需要放權。武則天選擇的第一批放權物件，是來俊臣等一批酷吏，但是來俊臣等人很快被宰相們聯合起來清剿了，在這種情況下，張氏兄弟就成了武則天的第二批代言人。
張易之原本只是個小官，現在不一樣了。家住的是豪宅，出門是高頭大馬接送，吃飯有大官陪同。但是，這對他來說還遠遠不夠，為了突出自己的與眾不同，確立自己的威信，將自己打造成女皇心中最信賴之人，張易之決定，向皇宮貴族開刀。他為自己定了這麼幾個目標：
首先，是唐中宗的後代，其中包括長子李重潤、女兒李仙蕙、女婿武延基。
其次，是曾經彈劾過自己的御史魏元忠等人。
張易之還真有幾分手段，他向武則天申訴，竟然真把魏元忠流放了。後來御史宋璟彈劾張氏兄弟貪汙以及謀反，武則天下令，命宗晉卿、李承嘉、桓彥範、袁恕己四人，組成調查小組嚴查，但司刑正賈敬言觀察武則天的心意，稟奏張昌宗強行購買他人貨物，罪刑判為賠償財物。
神龍元年（705年），張柬之等人帶領衛隊進駐長安城，軟禁武則天，逼迫女皇退位。同時太子李顯進入玄武門，宣佈繼位。
武則天失去了權勢，張易之、張昌宗也就沒了靠山，全部被殺。
這裡面還有一個小插曲，是關於大詩人宋之問的。宋之問是個才華橫溢的飽學之士，曾經找過武則天，說願意當面首，還寫了一首豔詩獻給女皇。
武則天讀後讚不絕口，待宋之問離開後，卻對身邊人說：「這個宋之問，的確是難遇之才，只是他口臭燻人，讓朕無法忍受。」
由於口臭，宋之問的美夢化作了泡影，沒能當上女皇的面首，這能找誰說理去？