1955年，为适应国防和军队建设的新形势，国防部决定以南京军区治安部队和淞沪
警备区机关一部分为基础，组建上海警备区。
1955年11月，南京军区按照上级要求，正式组建上海警备区。
上海市下辖的区县
人民武装部实行地方与军队双重领导，其军事业务由上海警备区领导。
1955年11月4日，
中国人民解放军南京军区遵照国防部指示决定，以原南京军区公安部队领导机关大部人员为基础，组成上海警备区，隶属南京军区建制，并自即日起正式命名为“中国人民解放军上海警备区”。
1956年5月26日，南京军区司令部转中国人民解放军总参谋部批示：
上海市兵役局自7月1日起，归属上海警备区建制领导。
1958年2月25日，南京军区电令，
苏州市、松江军分区合并为苏州军分区，松江军分区番号撤销。松江军分区原辖上海、
嘉定区、宝山县兵役局划归上海市兵役局。同年11月，苏州军分区所辖
金山区、
南汇区、
川沙县、
奉贤区、
青浦区、
松江区、
崇明区等7县兵役局，划归上海警备区建制领导。
1958年10月27日，遵照
中国人民解放军南京军区电示，上海市兵役局机关改编为上海警备区司令部人民武装处，其所属县兵役局和区兵役办事处均改为县、区
人民武装部，其一切工作由上海警备区负责。
根据中央军事委员会、公安部、总参谋部对公安部队整编、移交的指示，1959年1月，公安军
上海市总队移交给
上海市公安局改编为警察总队。1966年6月又归上海警备区建制，番号改称“上海警备区警备师”。