东汉灵帝时，羊续出任南阳太守。为了尽快掌握当地真情实状，他只带一名书僮，简衣陋衫，微服私访，观街市，问风谣，把当地官吏的贪廉良劣，摸了个清清楚楚。

上任后，羊续立即颁布宣政令，兴利除弊，当地官吏无不惊竦震慑，黎民百姓为之欢欣鼓舞。

南阳地方多权贵豪强，风尚奢华。羊续对此痛心疾首。他带头素衣薄食，出行时，瘦马一匹、旧车一辆，决心以自己的清俭来影响、转变世风。

作为地方长官的羊续带头躬行节俭，对那些挥霍成性的府丞属吏显然是个很大的约束。有一天，一位 老府丞笑嘻嘻地给他送来了一条老大的活鱼。没想到，羊续竟收下了。老府丞暗想：“你有一就有二，有二就有三。今日收鱼，明日就会拿肉，后天就能受钱啦！” 于是，几天后，他又送来了一条更大的活鱼。

羊续招招手，让他到庭廊下，用手指着檐梁，原来檐梁上悬挂着的他前些天送来的那条鱼。羊续危言正色地说：“你上次送的，我没有动。你再送，我还会收会动吗？你的这条鱼，我要一直挂在这里，作一个不要送钱送礼的活告示。

明代清官于谦写过一首《初度》诗：

喜剩门庭无贺客，绝胜厨传有悬鱼。

清风一枕南窗卧，闲阅床头几卷书。

羊续的清廉成了历代“廉吏”的典范，《后汉书》也专门为他立传传扬。