永徽四年（653）二月，房玄龄子房遗爱与妻高阳公主，及驸马都尉薛万彻（娶唐高祖女丹阳公主）、柴令武（娶太宗女巴陵公主）等，密谋造反，奉荆王李元景为帝。高阳公主甚骄逸恣意，暗算房遗爱兄长遗直的财产，房遗直向高宗告状，关于房遗爱、高阳公主等人欲谋反之事。高宗令长孙无忌审讯，房遗爱知道长孙无忌与吴王李恪因为废立太子之事结下仇恨，便诬告是与吴王李恪合谋的，并希望以此能立功而免死。高宗接长孙无忌据审呈上的反状，下诏将房遗爱、薛万彻、柴令武斩首，荆王李元景、吴王李恪、高阳公主、巴陵公主并赐自尽。此外，江夏王李道宗因与房遗爱来往，被流放岭南，房遗直被贬谪为铜陵县尉。房玄龄被罢除配飨。