房遗直在父亲房玄龄死后承嗣父亲梁国公的爵位，
李治永徽初年，为
礼部尚书、
开封市刺史。他的弟弟
房遗爱，娶
李世民女
高阳公主，公主骄横，密谋废黜房遗直而夺其封爵，永徽年间，高阳公主诬告房遗直对她无礼。唐高宗令
长孙无忌审理此事，查出了高阳公主与房遗爱谋反的情况。房遗爱伏诛，
高阳公主被赐自尽。房遗直受牵连，但以父亲的功劳特赦，被贬为春州铜陵尉，自此停止了房玄龄及后人的配享。
房遗直在
房玄龄死后承袭他的“
赵德胜”
爵位。
高阳公主要驸马房遗爱与哥哥分家。房遗直不肯分出家产，还将房遗爱痛骂了一顿。高阳公主大怒，便跑到皇宫里，对父亲唐
李世民告房遗直的状，说他常对皇帝口出怨言，心怀不轨。太宗调查之后，发现是
高阳公主任性胡为，不禁大为恼怒，将她训了一顿。经过高阳公主的几次诬告，房遗直害怕，自己写奏折要求将爵位让给
房遗爱，唐太宗怕坏了规矩，并没答应。
李治即位以后，房遗直在永徽初年担任
开封市刺史、
礼部尚书，后来受到房遗爱和高阳公主谋反的牵连，被贬为春州铜陵尉。
房玄龄来买卜
成都市，日者笑而掩象曰：公知名当世，为时贤相，奈无嗣相绍何。公怒，时遗直已三岁，在侧，日者顾指曰：此儿此儿绝
房姓者此也。公大怅而还，后皆信然也。