薛怀义宠稍衰，而御医沈南璆qiú进，怀义大望，因火明堂，太后羞之，掩不发。怀义愈很恣zì怏yàng怏。乃密诏太平公主择健妇缚之殿中，命建昌王武攸yōu宁、将作大匠宗晋卿率壮士击杀之，以畚车载尸还白马寺。怀义负幸昵，气盖一时，出百官上，其徒多犯法。御史冯思勖xù劾其奸，怀义怒，遇诸道，命左右欧之，几死，弗敢言。默啜犯塞，拜新平、伐逆、朔方道大总管，提十八将军兵击胡，宰相李昭德、苏味道至为之长史、司马。后厌入禁中，阴募力少年千人为浮屠，有逆谋。侍御史周矩jǔ劾状请治验，太后曰：“第出，朕将使诣狱。”矩坐台，少选，怀义怒马造廷，直往坐大榻上，矩召吏受辞，怀义即乘马去。矩以闻，太后曰：“是道人素狂，不足治，力少年听穷劾。”矩悉投放丑裔。怀义构矩，俄免官。
皇太后对薛怀义的宠幸渐衰，而对御医沈南璆宠幸有加。薛怀义大为不满，于是放火烧明堂，皇太后感到羞愧，掩盖真相不予揭露。薛怀义更加凶暴放肆。于是皇太后密令太平公主挑选若干健壮妇女把薛怀义捆绑在殿中，命令建昌王武攸宁、将作大匠宗晋卿率领壮士将薛怀义击毙，用运泥车把他的尸体送回白马寺。薛怀义依仗皇太后的宠爱，一时间气焰压倒世人，超出百官之上，他的门徒也大多犯法。御史冯思勖揭发他的罪行，薛怀义发怒，有一次他在路上与冯思勖相遇，就命令自己的随从殴打冯思勖，几乎将他打死，冯思勖不敢再说什么。突厥默啜侵犯边地，皇太后拜薛怀义为新平、伐逆、朔方道大总管，带领十八个将军的部队攻打胡兵，宰相李昭德、苏味道竟然充当他的行军长史、司马。后来薛怀义厌倦进宫侍奉皇太后，暗中招募一千名有力气的少年充当和尚，蓄谋叛乱。侍御史周矩揭发他的罪状请求皇太后查治，皇太后说：“你先出去，我会处置的。”周矩坐在御史台办公，一会儿，薛怀义策马驰入御史台的庭院，径直到大床上坐下，周矩召来官吏准备寻录口供，薛怀义立即骑马离开。周矩将这件事报告皇太后，皇太后说：“这个和尚一向狂妄，不值得惩治，那些有力气的少年听任你彻底查问、处理。”周矩将他们全流放到贫困的边远地区。后来薛怀义陷害周矩，不久周矩就被免官。