1916年，经韩世荣、于耀、王子良等回族群众发起，在林西县几家大买卖商行捐集、克什克腾旗、赤峰等清真寺、商号资助、回族群众写“乜帖”募集资金后，在县城西街占地6亩建起1所小型中国清真寺。三间小“大殿”，系土木结构，形似道士帽，两头的两间突出，中间缩进一段檐廊，廊中有石墩木柱。大殿设两扇大门，堂室内便是礼拜诵经处。大殿北侧盖三间土房，供阿訇起居。此为林西清真寺雏形。

1931年，在原小“大殿”南建起大殿，系砖木结构，大殿宏伟雄大，崇台列阶，飞檐流脊，雕窗漆柱，古色古香。殿堂内宽敞明亮，为“明五暗十五”结构，即表面看是五间，实际占地面积是十五间。殿内陈设典雅讲究，果子松地板，上铺三行条毡，供教民礼拜之用。大殿北侧设有三间北讲堂（阿訇住所）。

1941年，在右侧又盖南讲堂五间。后来南讲堂几经修，扩建了水房、沐浴室。沐浴室内，南面有炕，东北面有淋浴间，中间设水池，池边有石座，系“小净”之处。室内备有青铜汤瓶、漏灌。水房东备有膳房，置炊具，以便在圣会、法图麦会做查撒用。

1955年在政府关怀重视下，由从阿訇主持，将原小“大殿”拆除，扩北讲堂4间，筑围墙、建二门、铺甬路、修裙墙。清真寺院更加肃穆幽静。“文化大革命”期间，林西清真寺亦遭受破坏，礼拜大殿、讲堂、水房均被移作它用。

1980年，县政府拨款将修复清真寺礼拜大殿，重新为回族群众所用。原礼拜大殿建筑70余年，基础塌陷，梁柱倾斜，有的大柁底柁变形，房脊受压严重，难能修复。

1995年，回民群众酝酿重新翻建礼拜大殿。在任阿訇从炳贤及寺管会组织成立重建大殿工程建筑领导小组。重建礼拜大殿工程，自1996年5 月设计施工，到1997年竣工交付使用，历时一年零四个月。此次建成的大殿，堪称为古典建筑风格与现代建筑技术的完美合璧，从前出檐廊，合有复厦的巧构，到钢筋混凝土的基座，殿顶月牙的雕饰，琉璃瓦的飞檐流脊，都给新大殿增添几分风采。新大殿设计师为李德明，由林西建筑工程队施工，队长为回族人李化阁，建筑总监工为陈振文。建筑资金来源：自治区、赤峰市、林西县、林西镇四级政府拨款资助；外埠清真寺寺管会及穆斯林捐助资；部分县直机关及回族聚居地的回民营子和西街居委会捐助；回族群众自愿捐献“乜帖”。为了对建大殿给予资助的单位和个人表示嘉赏，在清真寺院内增修了一面大理石屏风，屏风正面镌刻阿拉伯语“清真言”，背面镌刻《敬修清真寺，弘扬伊斯兰》的碑文。上列各级政府、各机关单位捐资情况，开列了无私捐献“乜帖”的穆斯林名单。