杜溪桥共有两座桥梁，东头为一座石拱桥，孔径1.7米；西头为一座石梁平桥，跨度3米多。两桥实际间隔600米。这里所说的“杜溪桥”主要指的是东头的石拱桥。桥上行人，桥下夏秋季节可通小船。碰到雨水多的年份，杜溪桥经常被水整个淹没，不过却一直没有垮塌。湖水上涨期间，需要渡船过河。

关于杜溪桥的修建，周边村庄口口相传着一个传说：据说刚修桥的时候，修桥的石匠们怎么也不能把桥的拱形状保持住，总是刚弄好一下子就塌了。一天，正在石匠们焦头烂额的时候，一个老农牵了一头水牛正好从河边走过，见新建的桥梁总是倒塌，便问为什么。石匠们开了一句玩笑说：“大哥，如果你的牛能够站在桥下托住桥，桥也许就塌不了了”。本是一句玩笑话，想不到老汉的水牛第二天早上就死在了牛栏里。与此同时感到奇怪的是，石匠们再次架好桥，桥怎么也不塌了。当得知水牛死后，他们心想是水牛的灵魂来托住了拱桥，于是给水牛烧香立牌，并坚信是水牛一只驮着桥。至今为止，每年都有村民来此祭拜。事实上，石拱桥能够屹立不倒，靠的不是水牛，而是中国古人无穷的智慧与创造力。

杜溪桥横跨杜溪河，杜溪河为九姑乡与许岭镇的分界线。桥边的村子也因此桥而得名“桥下屋”（现杜溪村新屋组）。杜溪河直连长江，直线距离不足40公里，典型的鱼米之乡景观，盛产草鱼。鲫鱼。大黄鱼等淡水鱼，主要作物为水稻，杜溪河作为主要灌溉水源，养育了一方鱼米情深的人们。这片土地上的勤劳人民，世世代代保护着杜溪桥，让传统就这样一直延续下去。