楊廣與張衡在一🛆🚉👤起二十多年，彼此相知相識。二十多年來(lái)，張衡一直沒(méi)變，可楊廣變了。
楊廣成了天😰🅆子，已不再需要張先生動(dòng)🛖🜗輒如父親一般的🅕🆖指手畫(huà)腳。
所以🆃🌼一開(kāi)始，楊廣罷了張🅵衡的相位，讓他去做御史大夫。這個(gè)時(shí)⛩🝅候楊廣其實(shí)已經(jīng)不想再聽(tīng)到張衡的話(huà)了。
大業(yè)三年，楊廣北巡歸來(lái)，上太行山，開(kāi)辟直路九十里，一直🞎💿🗤通到張衡家，世人皆認🗙🜆為🙔這是天子恩遇，鴻恩浩蕩，但唯有黃明遠知道。
這樣的隆恩😰🅆背👈🔋后，是很多昔日恩情償還盡的表現。
天子為張衡的擁立之功在還恩，恩還完了，情分也🈙就盡了。
果然不出黃明遠所料，大業(yè)🝵🏜四年，楊廣到汾陽(yáng)宮，宴請隨從官吏，特賜絹帛♇🆔五百匹。🗙🜆當時(shí)楊廣想擴建汾陽(yáng)宮，讓張衡和紀弘整畫(huà)好圖紙奏上。
此時(shí)天下已經(jīng)出現了動(dòng)亂的苗頭，張衡也憂(yōu)心忡忡，便想接著(zhù)這個(gè)機會(huì )進(jìn)諫楊廣，因此趁機說(shuō)🁜🆧道：“這幾年勞役繁多，🝊🉠🈪百姓疲憊，實(shí)在不應該再大興勞役，還請圣人慎重?！?br/>
楊廣當時(shí)聽(tīng)😰🅆了便很不🟘🝝🌅高興，只是礙著(zhù)面子沒(méi)有發(fā)作。
等到張衡離開(kāi)👈🔋后，楊廣便連桌案都推翻了，指著(zhù)張衡離去⚹的方向大聲罵道：“你以🐈♣為你是誰(shuí)！”
后來(lái)便傳出天子曾對親🟇🟇🟇近侍臣言“張衡自以為因為他的計謀，才讓我有天下”的話(huà)。
再之后，齊王楊暕將伊闕令皇甫詡帶到汾陽(yáng)宮，有🈙人便告發(fā)此事便是通過(guò)張衡做的。又說(shuō)以前天子到涿郡以及祭祠恒岳時(shí)，那些來(lái)謁見(jiàn)的父老鄉親，衣冠大多不整，這是身為御史大夫的張衡沒(méi)有做好。
楊廣🆃🌼趁機發(fā)難，怪罪張衡，身為司法官不能檢舉處理這些問(wèn)題，讓他出京當樓煩太守。
張衡就此被貶出朝廷。
大業(yè)五年，😰🅆楊廣又到汾陽(yáng)宮，張衡正在督促勞役修筑樓煩城，因而拜🚕見(jiàn)楊🔤廣。
此🅸😶時(shí)楊廣以及對張衡充滿(mǎn)了厭惡，他見(jiàn)張衡沒(méi)有消瘦，竟然覺(jué)得是因為張衡沒(méi)有反思自己的過(guò)失，便對張衡說(shuō)：“你長(cháng)得很肥，應暫且回到郡里去?！?br/>
再之后🖘💽🗘張🍌衡又被貶為江都宮監，負責修建江都宮。