蔡京声音之高，响彻朝堂，满堂大臣尽皆惊诧。
徽宗皇帝也被蔡京此举吓了一跳，顿觉掉了面子，遂不满地看了蔡京一眼，微露怒容，起身离座，拂袖而去。
当日朝会随即结束，众大臣皆退出大殿。
蔡京也打道回府。回到府中，蔡京尤满腹怨气。对蔡京来讲，党人碑被拆毁，就等于他本人被否定了。
回到内宫的徽宗皇帝，也因蔡京当殿顶碰，心中甚是不悦。
不过半日，陆续有大臣进本参奏，奏请罢免蔡京宰相职务。赵挺之、刘逵也联名进本参奏，斥责蔡京，请求罢免。奏折道：“蔡京奸佞，擅权专横，目无君父，党同伐异，陷害忠良，兴役扰民，损耗国帑，擅招敌国边民，轻开边衅，?当亟加罢黜，定国安民。”
徽宗览奏，心中甚是痛快，遂有意罢免蔡京左相职位；然而，徽宗皇帝念在蔡京书画绝伦，才华出众，心里虽怨恨蔡京鲁莽，当殿顶撞自己，但喜蔡京之才，对罢贬蔡京，犹豫不决起来。
快至傍晚时，蔡京怒气渐消，想到自己当殿顶撞徽宗皇帝，那徽宗皇帝定然恼怒不堪，定然要罢免自己的宰相职务。如此一想，蔡京又后悔不迭，想着如何挽回此事的影响。想来想去，蔡京觉得必须连夜去觐见徽宗皇帝，当面解释清楚，否则后果十分严重，说不定自己的相位便没了，就成别人的了。
于是，蔡京连夜进宫，觐见徽宗，跪伏于地，涕泪齐下，哭诉自己不该顶撞圣上，自己实乃是怕旧党得势，阻扰各项法规顺利实行，一时急迫，有了朝会上不恭之举，万望圣上饶恕。
徽宗见蔡京哭得悲切，言辞诚恳，遂打消了罢免蔡京的念头，对蔡京说道：“蔡太师且起。卿今日之举，实在是过于孟浪，以后绝对不可了！”
蔡京闻听到徽宗皇帝并无追究朝会上不恭之罪，感动得涕泪横流，跪趴在地上，连扣着响头，高声喊道：“臣谢主隆恩。祝吾皇万岁、万岁、万万岁1”
徽宗见状，离了龙椅，下到殿中，来至蔡京身边，亲手扶起蔡京，又是一番抚慰。
蔡京见徽宗皇帝已无怨气，遂放心告辞回府。
又是接连几日，对奏请罢免蔡京之事，徽宗一直没有表示。群臣不服，便又有奏折递入宫中，请求徽宗皇帝，罢免蔡京。
徽宗皇帝接奏，犹豫不决。
又过了几天，有天监官入殿，奏称太白昼见，恐非吉兆，应加修省。得知这个情况，赵挺之、刘逵也赶忙进宫，觐见徽宗，请求罢免蔡京，以宽松环境。
徽宗闻奏，乃赦免一切党人，尽还所徒，暂罢崇宁诸法，并免去蔡京左相职务，贬为太乙宫使，留居京师。
虽是如此，徽宗心里尚觉愧对蔡京，乃将蔡京所宠爱的私人，擢为龙图阁学士，兼官侍读，以笼络蔡京之心。
擢为龙图阁学士的蔡京私人是谁？乃蔡京的长子蔡攸也！
徽宗尚是端王时，每退朝遇到蔡攸，蔡攸都急忙下马，立于路旁，趋身弓腰，双手抱拳，对端王极为恭敬。
端王喜其有礼貌，乃问其曰：“你乃何人？”蔡攸遂答曰：“端王在上，下官乃蔡学士长子蔡攸是也。”
赵佶嘉奖其有礼，由此将蔡攸记在了心里。现在，徽宗皇帝因罢了蔡京左相职务的原因，想到了蔡攸，遂提拔蔡攸升职为龙图阁学士，兼官侍读，以此作为对蔡京被罢相的补偿。
此是蔡京被初次罢相。
其实，蔡京初次被罢相，也非是犯了多么重大的错误，实是因了徽宗皇帝迷信，看重天象之故，加之其他大臣的弹劾，徽宗皇帝无奈，方罢免了蔡京的宰相职务，蔡京给徽宗皇帝皇帝甩脸子，只是个借口而已。
蔡京被罢相后，并未失去徽宗皇帝对他的信任，双方在书法及绘画方面，常有切磋；况且蔡京罢相后，还留下了大批余党充斥在朝廷中，只要有机会，蔡京余党皆在徽宗皇帝面前说蔡京的好话，向徽宗进谏，请求启用蔡京。
