不过，奕赓是一位学识渊博、才华横溢之人，没有心思佩剑执戟。在宫廷里担任侍卫，对他来说无异于一种折磨。所以，他这份工作干得并不称心如意。1836年，奕赓结束了侍卫生涯，离开皇宫。后来，奕赓将6年担任侍卫的经历，写成《侍卫论》《老侍卫叹》《少侍卫叹》《女侍卫》《侍卫琐言》等作品，惟妙惟肖地描写了宫廷侍卫的众生相，揭示了当时宫廷侍卫的不良风气和种种问题，成为人们了解清朝侍卫制度的第一手文献资料。

1838年，庄亲王奕赓因为吸食阿片，被道光皇帝下令革除庄亲王爵位。奕赓认为自己会继承庄亲王爵位。可是，他再一次失望了。道光皇帝没有在老庄亲王绵课的儿子里面寻找继承人，而是将庄亲王爵位给了辅国将军永蕃的长子绵护。

1841年，绵护病逝，道光皇帝将庄亲王爵位传袭给绵护的弟弟绵哗。就这样，庄亲王爵位彻底与奕赓无缘了。

奕赓大失所望，自嘲为“天下第一废物东西”。

在那以后，奕赓过着穷困潦倒的生活。他不再进入官场，而是退隐到京城郊区的山村里，以耕种为生。在闲暇的时间里，奕赓写诗作文。

1844年，奕赓离开京城，回到了盛京(今辽宁省沈阳市)。

那时候，盛京有一批出身八旗的文人雅士，如缪公恩、程伟元、韩小窗、缪东麟、喜晓峰等，创办了两个以子弟书文学创作为主体的诗社“芝兰诗社”和“荟兰诗社”。奕赓加入了“芝兰诗社”，并化名为鹤侣氏，创作了大量子弟书、近体诗谜和诗歌作品。这些作品风格独树一帜，语言活泼生动，情节引人入胜，具有较高的艺术水准和史料价值。

如此看来，奕赓并不是什么“天下第一废物东西”，反而是一个被宗室子弟身份耽搁了的文学家和史学家。