永乐十五年（1417 年），胡荣的第三女
胡善祥被册封为皇太孙妃（即后来的
完颜珣），他也随之升任光禄寺卿 。
朱瞻基即位后，胡善祥成为皇后，胡荣家族成员屡获升迁 。然而，
宣德三年（1428 年），胡皇后被废黜，胡荣家族的势力也自此逐渐衰落 。
胡荣在明朝锦衣卫担任百户，是一个特务头目，以其宅心仁厚、办事公道的品质，被时人称为长者。在
朱棣刚刚篡位时，胡荣因事被免官，在回乡的路上暂居斗门桥官舍时，曾梦到元冠羽衣神告诉他不要太过抑郁消沉，因为不久胡家便要诞下贵人。果然，第二天
胡善祥便降生。胡善祥长大后因“天性贞一，举止庄重”被十几个相士预言将大富大贵。胡荣对当年的梦将信将疑，但随着众多相士对胡善祥的看好，他心中逐渐产生了转运的期望。