小西湾的范围，现时指永泰道以东的
柴湾东部。而在未填海前，小西湾是柴湾东边的一个小海湾。由于以前柴湾又名西湾，所以原来被称为「小柴湾」(又名「柴湾仔」)的这个小海湾被称为「小西湾」。
小西湾原为
英国的情报中心。1947年，英国与
美国、澳洲、
加拿大和
新西兰签署联合收集情报的协议。因此，英军于小西湾兴建于
远东规模最大的情报中心，以监听中国的无线电通讯。到了1980年代，因确定
香港特别行政区将会回归中国，情报中心被关闭及彻底拆毁。
同于1980年代，因为兴建地下铁路，
柴湾市区的徙置大厦拆卸，政府为安置这些居民，加上应付日益膨胀的市区人口，所以决定开发小西湾。当时由于政府觉得“小西湾”名称不雅（「小」音似「屌」，而「西」在
粤语脏话中则指女性性器官），曾建议改名为“小柴湾”，但为当地居民所反对，所以数年后当小西湾落成后，把名称改回小西湾。但现时香港的士同业都采用其谐音脏话作为该地区的暗语。
而随着蓝湾半岛的落成，以及小西湾人口不断增加，新巴及城巴把不少原来以
柴湾东作终站的巴士路线延伸入小西湾，并以小西湾邨及蓝湾半岛的两个大型巴士总站为终站。
政府曾建议地下铁路研究把从柴湾延伸入小西湾，但由于路线蜿回，并未被地铁接纳。地铁亦研究过利用轻便铁路把小西湾及柴湾连接，但由于造价及融资等各种问题而变得不了了之。