早年跟随
兴平市割据军阀
薛举建立西秦,618年薛举死后,其子
薛仁杲继位,同年跟随薛仁跟当时还是秦王的李世民在高墌城对战,因为薛仁杲勇而无谋,而且粮草已不足,将士背离,作为内史令的翟长孙于是率领部队投降李世民。
武德三年,跟随秦王
李世民参与
虎牢关之战,击破王世充军(郑军)、窦建德军(夏军)战争结束后,李世民仍让他率领宗罗等继续率领军队并和他们一起游猎。不久,李世民追击
宋金刚时,翟长孙与秦武通在敌阵南列阵拒敌。后李世民组建
玄甲军,翟长孫与
秦琼、
程咬金、尉遲敬德一同统领,每次跟随李世民为前锋,战阵上无所不破。