。不幸背運，沒兩年先懷王薨了，帥帳易主，新帥與先懷王政見不合，又忌憚鄧緒之功，便將其調回京中，名曰升遷，在兵部做一閒職。
鄧緒肚裡沒多少墨水，新職務偏與文書有關，屢屢出錯，官階一降再降，幸而當時的兵部侍郎程柏與他同是先懷王麾下，交情甚好，總算護住他沒有被罰到丟官。後有一回又犯錯，程柏護他，亦被人參了，鄧緒便自請罪曰無顏再留在兵部，恰恰大理寺缺一獄丞，就調了過去，看大牢時，竟發現其中一個犯人可能被冤枉，便告知大理寺卿。
當時的大理寺卿是本朝赫赫有名的賢臣，當今懷王殿下已故的岳丈李岄。李岄不單未怪罪鄧緒越級上報，還根據他的進言重新追查，果然發現此案的疏漏之處，尋到真兇。李岄因此欣賞鄧緒之才，將他從獄丞升做評事。鄧緒不負李岄賞識，屢屢發現案情疑點，助大理寺破了許多奇案。未幾年升做大理寺斷丞。後李岄調任中書令，離開大理寺前，保舉鄧緒做了大理寺正。有人彈劾鄧緒胸無點墨，不堪大任。先太傅�