吴市历史源远流长，成陆于隋唐时期，旧地称“双溪”，因有东西两溪而得名，东溪旁栽有梅树称“梅溪”，西溪旁栽有桃树称“桃溪”，明代形成集镇，后因吴氏大族世居之地而取名“吴家市”，又称“老吴市”，是明代宣德年间左副都御史吴讷之故里，为“邑东四大镇”之一。影视剧《乘风破浪》在这里拍摄完成。