公元654年（唐永徽六年），高宗立武昭儀為皇后，褚遂良極力反對，高宗震怒，將褚貶為潭州都督。褚巡視潭州各縣時，不時到湘鄉城東感應寺與方丈和尚私敘興唐大業。寺左有清池，褚公常臨池賦詩，洗筆于池。至少在南宋前，當地人民敬仰褚遂良的書法和為人，便在池旁建褚公祠。祠前楹聯云：“洗墨有清池，碎金留逸少真傳，如見群鴻戲海；疾風知勁草，還笏報文皇顧命，休云飛鳥依人。”公元1229年（南宋紹興二年），縣丞邵自信曾浚治洗筆池，書橫榜曰“唐都督褚公筆池”，為湘鄉八景之一，名“筆沼春云”。2017年12月8日湘鄉舉行褚公祠修繕落成暨開放儀式，修繕一新的褚公祠正式開放。2019年湖南省人民政府公布褚公祠為“湖南省省級文物保護單位。”