程滨遗岁余丧父，由祖父扶养教育。
光绪二十年(1894年)中秀才，二十二年中
举人副榜，二十五年东渡
日本，入
明治大学，习数理，二十八年毕业归国。他是今安庆地区留学外国第一人。
归国后，时
南陵县、
宣城市一带客民(由
湖南省、湖北及安徽各地逃难到
皖南的平民百姓)苦于子弟不得入学，慕名聘请程滨遗前去设馆教学。先在南陵开办育青小学，接着创建炳灵、同安、文斗3校，在宣城创办求实小学、端安小学，又在南陵开设师范讲习所，培养师资。但不久，各小学及师范讲习所招生困难，再次电请他前往。程滨遗经学务处批准公假半年南下，到客民家中走访，苦口婆心劝民送子入学，并将南陵4所小学合并为储才高等小学，使招生问题得到解决。
光绪三十三年，
怀宁县中学堂突起风潮，久未平息，怀宁人士电请他当监督(校长)，这是他在家乡办学的开始。
宣统二年(1910年)，为兴学育才，他各方奔走，筹措经费，创办私立安徽高级农业学堂(后改为蚕桑学校)。同年，怀中又发生学生反对监督的学潮，地方人士又推挽他再次兼任怀中监督。在兼职怀中时，整顿了校产，购置了图书仪器，使这所一无所有的书院式学堂，初具近代化学校的规模。翌年他与
光明甫一起创办私立专门法政学堂。民国元年(1912年)，单独筹款创办
江淮大学，设文、法两院，任副校长。江淮大学后改为省办，称法政专门学校。
民国元年至7年，先后在
安庆市、
北京市两地创办《民岩报》和《中原日报》。在京办《中原日报》时，因撰写《冯国璋之总统梦》一文，报馆遭警卫军捣毁，他个人也遭拘押数月，获释后被驱逐出京。
民国8年，回到安庆，翌年接任六邑中学校长。任职中，消除了校董杂居校舍、控制经费、安插不称职教师等各弊，增设了仪器室、实验室、图书馆等，充实了教学力量，使教学质量不断上升。同时，辟运动场，种植树木，培植花圃，疏浚旧塘，筑墩建亭，养鱼种莲，使校园之美为
安庆市各校之冠。11年，受
安徽省教育界重托，兼任省教育专款委员会委员，司筹划监察。翌年，组织监察委员会，任主任委员。16年，设置省教育经费管理处，任处长，遂离开六邑中学(19年正式辞职)。17～20年，他还兼任
安徽大学教授。
民国21年，安徽大学兴建农学院，校长
程演生和他分别兼任建筑委员会正、副主任委员，两年完成了建院任务。24年，教育部督学来安庆视察，提出怀宁中学校址狭小，条件简陋，不适合设立中学，饬令停办。
怀宁县地方人士，再度力挽他担任校长，担负新建怀中任务。他接受这一艰巨任务后，首先选定县
南京夫子庙(今
安徽省安庆市第四中学)为新校址，筹集款项，开工建筑。上年，怀宁全境遭受特大旱灾，程滨遗曾亲自和
上海商业银行联系，签订贷款合同，请准关务署发给免税护照，购进
安南(今
越南)、
泰国(今泰国)大米十万石，以低于市价三分之一价格平，使怀宁城乡居民安全地度过了灾荒。这次怀中兴建校舍，向家乡募款，乡里闻讯，纷纷捐助。至第二年，校舍竣工后，又建成一座图书馆，并率先捐赠二十四史一部。
民国26年，抗战爆发，他将怀中迁至
高河镇。遂离校西上，旅居
宜昌市、万县、
江津区、
遵义市等地。在此期间，编成《中国田赋史》一书。抗战胜利，返回
安庆市，35年在
安徽大学教授《中国法制史》，并一度兼任怀中校长。新中国建立后，被推荐为
安徽省文史馆馆员，这时他完成了《安庆旧影》这部著作。1953年2月在安庆病逝，终年77岁。
他一生著作，除上述两书外，还有《
中国法制史》、《风尘旧影》、《风烟旧影》、《文学源流》等。《中国法制史》已由安徽大学出版。