陈公辅是政和三年上舍及第第一名，即相当于科举状元。他性格耿直，崇尚气节，敢于直言。他在奏疏中说道：“臣窃睹国家强虏入寇，中外震恐。陛下初临万几，曹此扰攘，深轸圣虑。公卿大夫误国至此，臣不胜痛愤！臣有愚见，辄不避死亡之诛，上干天听，伏惟陛下少留神焉。
臣闻宪宗用一裴度而平淮西，武宗用一李德裕而平泽潞。自古翦除寇难，兴复治功，必至排斥众议，屏除奸邪，而信任忠勇有为之才，然后可责其成功也。自臣闻边寇兴难，蚤夜危惧，曾诣都堂略陈守御之策，见任宰执大臣皆狐疑不断，牵制其事今已经月，条画措置并未就绪。况此数人，事上皇累年，皆阿谀顺旨，持禄养交，未尝建明一事，裨补圣明，致有今日之患。盖平居无事，尚不足恃，岂可使之当今日之变乎？陛下今日复用之士，论民心莫不叹息，不惟不足以了今日事，他日亦必误陛下！臣谓前日奋不顾身，力赞陛下登此宝位，必社稷臣，固当知之矣，胡不且专任，委以军国大事，不使众议移之，群邪沮之，使尽其才力，以了天下事？
至于朝士大夫，与昔时慷慨论事，不畏豪强得罪在外，亦不无其人，可以录用。但宰臣未肯为陛下言之，往往引用皆其亲党。臣窃惟陛下前日积德东宫，谦恭谨畏，退托不能，乃人子之道。今日统御九有，抚临万邦，乃人君之权。固当奋乾之刚，继离之明，兴大利，除大害，上以承祖宗无疆之要，下以慰四海生灵之望。不宜拘守常之论，惟不改父之臣与父之政，为难能也。况太上皇刚明勇决，一旦改悔，知为群邪所误，痛自罪已。陛下诚能慨然有为，罢去昔时用事之人，而委任真贤，敷举治道，是乃奉承太上皇之志也。帝王盛德，何以加此！
臣疏贱小臣，辄敢言及朝廷大臣，冒犯天威，自知必死，然不敢惜死，愿有说焉。夫宰相大臣非其人，谏官御史可以言之。今台谏皆宰相门人，不肯言也。侍从之臣可以言之，今侍从皆顾惜名位不敢言也。惟臣小官，无所顾惜，诚知爱国，不知谋身，所以为陛下言之。臣更不言，是陛下终不得闻宰相大臣之过也。宰相大臣天子不之知，何以论天下之治哉！又况陛下当即位之初，以论相择人为先，不可不谨。此举愿陛下断而行之，实为天下幸甚！”
其实，李邦彦早有自知之明，他知道自己已不适合继续担任宰相之职。两天前，他曾上书宋钦宗乞请致仕。
他在奏书中说，上皇退位，将江山社稷交付陛下，自己被委以重任，曾发誓要殚精竭虑，“身屡濒死，有所不避”。可是，自己的努力与心血，却一再遭到误解，以至于“今譊譊之徒，扇惑群听，喧竞仓卒，白黑不分”。
他辩解说，“臣之所急，存宗社、安君上、惜生灵而已，何敢为身谋？”然而，人们却不理解，不断进行诋毁，认为自己是奸贼。现在，“众听未孚，铄金可畏，不知引避，何以厌服斯民之心？”
当日，宋钦宗权衡利弊，最终接受了陈公辅的谏言，免去李邦彦、王孝迪和蔡懋在朝廷的职务。李邦彦外任邓州知州，王孝迪担任醴泉观使，蔡懋去往大名府任府尹。
李邦彦请求补足其守孝的时间，宣和五年他父亲去世时，他只守孝两个月就被朝廷召回，根据丁忧守丧制度，他应该守孝三年。宋钦宗准奏，命他前去提举亳州明道宫。
李邦彦虽然是“浪子宰相”，但宋钦宗对他怀有好感，因为宋钦宗在当太子期间，以及禅位之初，曾得到过他很大的帮助。现在迫于舆论压力，宋钦宗不得不让他下台。为了给他挽回一点颜面，宋钦宗专门下达了一份手诏：“太宰李邦彦任政府累年，屡形忧国爱民之议，以至惜名器，抑冗滥，献纳非一。朕在东宫时，熟闻嘉誉，册立之际，备罄忠诚。金人犯阙，其所建明，惟知利社稷抚军民为急，朕一一施行。众志未能遍谕，乃作弗靖，鼓唱流言，反与前日异议，元恶之人，忽生怨愤，实骇予听。已依所乞宫祠，播告中外，咸信勿疑。”
