1926年任浙军第一师参谋长。1928年5月,任国民革命军总司令部参谋处副处长。1929年5月,
蒋介石成立陆海空军总司令部。总司令部内设参谋、总务两厅,任参谋厅厅长。1938年4月,调任待从室第一处主任。1941年1月,成立中国缅印马军事考察团,任副团长率考察团于同年2月出发,到缅甸、
印度、
马来西亚考察约三个月之久,搜集有关经济、政治、军事资料,编成中国缅印马军事考察团报告书。1944年2月,由军令部次长调任军政部政务次长。1948年8月,代理参谋总长。1950年2月,任东南长官公署副长官,同长官
陈诚一道为
蒋介石经营台湾。同年3月,蒋介石复职。任“台湾当局领导人办公室战略顾问”晋升为二级陆军上将。
早年在家乡中学毕业后,考入南京江南水师学堂工程科。毕业后又考入
陆军大学第四期正则班,毕业后返回浙军任工兵营营长,旋升参谋处长,第四团团长。
1928年5月,蒋介石为亲自掌握一部分军队,在国民革命军总司令部下又成立一个警备司令部。警备司令部长官和各部队长人员的组成,
蒋介石按照“黄、浙、陆、一”(即
黄埔军校毕业、浙江人、陆大毕业、第一军出身)的标准,任命
陈诚为警备司令。由于林蔚既是陆大毕业,又是浙江人,所以受到蒋介石、陈诚的青睐,于是被任命为警备第一师参谋长。不久,又调任总司令部参谋处副处长。
1930年2月,出任参谋第二厅厅长。这年10月,赴
河南省负责编遣战败投降的
西北军。他按照“高官少兵”(即对投降的西北军将领,官可以给得很大,但兵编得很少)的办法编遣部队,深得
蒋介石的赞许。从此后,实际上成了蒋介石的高级待从幕僚。
1935年3月,国民政府军事委员会为统一全国陆海空军人事,在军事委员会内设置叙厅,蒋介石委林蔚任第一任厅长。作为蒋介石的心腹,他先后两次将最高人事部门签报晋升他为
上将的名字划掉,抗战开始后,国民党政府主席
林森颁发给军事委员会各部、厅、会主官一枚
忠勤勋章,林蔚在批阅进,将自己的名字删去。
1939年初,接杨杰任军令部次长。同年5月,桂林行营成立,
白崇禧任主任,任军令部次长兼行营参谋长。
1941年1月,成立中国缅印马军事考察团,任副团长(团长为商震)率考察团于同年2月出发,到缅甸、
印度、
马来西亚考察约三个月之久,搜集有关经济、政治、军事资料,编成中国缅印马军事考察团报告书。这次考察,为日后
中国远征军出征缅印打下了基础,也为他出任参谋团团长作了准备。
1941年12月,中国组织远征军第一
路军,入缅会同英、
美国军队联合对日作战。军队的指挥调动都是由林蔚通过电台,向远在三千英里之外的
蒋介石报告,待蒋介石同意后方能执行。蒋介石的命令朝令夕改,搞得中国军队指挥官和
约瑟夫·史迪威无所适从。作为参谋团长也无可奈何,显得无能为力了。
1942年6月,率参谋团人员返回
昆明市。同年,二次调任待从室第一处主任,兼军事委员会桂林办公室副主任,同
陈布雷一起,成为分掌蒋介石军事、政治的两个大管家。
1946年,在南京中国国民党党部举行全党代表大会,推选总裁,结果是
陈果夫多
蒋介石一票,这可吓坏了林蔚和
陈立夫。林蔚极力说服陈立夫,让其找主持主票人“CC派”的
谷正纲密商,由陈立夫和谷正纲各补投蒋一票,才使蒋介石当选连任总裁。
1949年4月,
浙江省主席
陈仪酝酿反蒋起义,被
汤恩伯出卖而遭拘捕。这年底,陈仪由浙江转到台湾,被关在基隆要塞内,后双转到台北励志社。林蔚奉命去劝说陈仪向蒋介石认错,被陈拒绝。林蔚作为陈仪的老部下,在陈仪被杀害时,他没有为陈在
蒋介石面前求情。
1950年2月,任东南军政长官公署副长官,同长官
陈诚一道为蒋介石经营台湾。同年3月,蒋介石复职。任“台湾当局领导人办公室战略顾问”晋升为二级陆军上将。