山东大学档案馆成立于1990年5月，1998年10月获得国家档案局认可，被评为科技事业“国家一级档案管理”单位。2000年7月，随着
山东大学、
山东工业大学、山东医科大学的合并，三个校区的档案馆合并成为新的档案馆，隶属于正处级建制。
档案馆设有馆长一名、副馆长两名，专职档案工作人员共24名。其中包括研究馆员三人，副研究馆员十人；拥有硕士学位者四人，在职攻读硕士学位者三人。此外，还有立卷单位84个，兼职档案员约190人。现任馆长兼任校史办主任的是赵爱国，他负责全面管理工作。副馆长楼蔚文主管业务指导部和信息技术部，而耿德良则分管综合管理部和保管利用部。校史办副主任李彦英主要负责校史办公室的相关事务。
档案馆的馆库按照国家
建筑设计规范建造，总面积达到3340平方米，其中档案库房占1700平方米，档案阅览室占地88平方米，业务与办公区域共计1552平方米。所有库房均配备有空调、除湿机、消毒器和安全监控设施。
截至2007年12月底，山东大学档案馆收藏了跨越一个世纪的历史档案，涵盖丰富的教育发展历程。馆内保存有九个全宗，共计134,675卷档案，排架长度达2,573米，还包括照片档案28,000余张，音视频档案1,091盒，底图475张，以及书籍资料3,858册。
档案馆珍藏着众多具有历史价值的重要档案和资料，如
清代光绪年间
山东巡抚袁世凯关于创办山东
京师大学堂的奏折复制品，以及省试办大学堂章程、清廷内阁上谕、早期毕业证书、学生学籍记录等。此外，还收录了多位知名校友在该校任教或求学的相关文献，以及毛泽东主席致
高亨教授的亲笔信复印件等重要文物。
曾荣获多项荣誉称号，包括2003年的全省档案系统先进集体、2004年的山东省特级档案馆、2006年的
山东大学教学管理与服务
优秀奖和全省
档案资源建设年活动先进集体，以及2007年的全省档案工作优秀集体。