台北市於1930年至三十六年间先後设立松山、城北、古亭、城西四所图书馆，1952年依照省颁「台湾省各县市立图书馆组织规程」之规定，将四馆合并成立「台北市立图书馆」。

1967年，台北市改制，并全面发展都市建设，本馆获得不少助力，业务大幅精进。1978年在台北市政府文化建设方案推动下，本馆迈入新的里程碑，尤其1990年新总馆落成启用後，更为台北市市民展开图书资讯服务的新纪元。而截至目前为止，本馆除总馆外於各行政区已设置有四十所分馆及十四所民众阅览室，且目前尚有二所分馆正积极兴建中。