大楼前身的建筑物名为「庄士敦楼」，最初建于1843年，并成为首两任香港总督
璞鼎查和
戴维斯居住的地方。自从戴维斯于1846年搬到坚道居住之后，大楼曾多次易手，先后用作
汇丰银行饭堂及
俄罗斯领事馆，并于1890年更名为「比更士菲楼」。而华人一般将其称为「拱北楼」。
1915年，法国外方传道会购入该座建筑物重建，作为行政总部之用途，工程于1917年3月完成，外观一直维持至今。香港日据时期，日军曾经占用该座大楼为日本宪兵总部。1945年8月香港重光，当时香港辅政司
詹逊曾于该大楼成立临时政府总部。1953年，香港政府购回大楼，最初为香港教育署总部，1965年改为维多利亚城地方法院，其后于1980年再成为香港最高法院所在地。1983年，大楼再改为香港政府新闻处总部，1989年被列入香港法定古迹。1997年起至2015年，该大楼用作
香港终审法院。
重建于1917年的大楼，属于新古典风格，现时在
香港特别行政区已所剩无几。整座大楼以
花岗石和红砖盖成，楼高三层，并附有地窖及角楼。而其北面有一座圆顶的小教堂。