绥舆山的名字源于彭城县的绥舆里，因为宋高祖刘裕曾居住于此地。《元和郡县图志》提到，绥舆山距离萧县东二十五里，而《
太平寰宇记》则记录了它在县东三十五里的位置。此外，《
读史方舆纪要》也确认了绥舆山的位置是在萧县东北二十里处。
绥舆山的具体地理位置在不同的历史文献中有略微差异。《元和郡县图志》指出，绥舆山位于
萧县东二十五里。相比之下，《太平寰宇记》则将其定位在县东三十五里。然而，《读史方舆纪要》明确表示，绥舆山就在今天的萧县东北二十里处。
绥舆山的历史记载见诸多部史籍。《金史·卷二十五·志第六》提到了萧县拥有绥舆山等地理特征，并提及了当地的两个镇——
白土镇和安民镇。