十年春，诏源应奉日久，特落阶官，与京祠。给事中宇文价封还录黄，改外祠。台官黄洽等又劾之，乃谪源建州居住，籍其赀进德寿宫。彦通除名、道州编管，士昌、庚皆抵罪。言者犹未已，移源郴州。源有园名小隐，其制视禁籞有加，高宗以赐王才人。

光宗即位，复召还。绍熙四年，自拱卫大夫、永州防御使除入内内侍省押班。帝以疾不朝重华宫，源与内侍杨舜卿、林亿年数有间言。宁宗即位，命三人俱事光宗于泰安宫。御史章颖论其离间君亲，乞行诛窜，以慰寿皇在天之灵。诏罢源等官，源抚州、亿年常州居住，舜卿任便居住。庆元二年，以生皇子恩，源、亿年许自便，舜卿与内祠。给事中汪义端驳之，乃移源婺州，亿年湖州。义端再驳舜卿内祠，反坐外补，其后源等卒听自便。亿年养娼女以别业，源在贬所与妓滥，俱以淫媟闻，人疑其非宦者云。