庆历初张伯玉以秘书丞知并州太谷县时，范仲淹推荐应贤良方正能直言（《范文正集》卷一八《兴趣张伯玉应制科元》）。至和中通判睦州，时年三十，后迁知福州，移越州、睦州。

张伯玉不但娴熟吏治，而且擅长文学。张伯玉诗，据《严陵集》、《会稽掇英总集》等书所录，编为二卷。

张伯玉在任期间，号召百姓按户种植榕树，福州出现“绿阴满城，暑不张盖”的景象。所以福州别名榕城。