年刚接替了父亲的伊豆韭山代官，上层的政治关系还没理顺，能力也没有得到幕府高级武士的认可。
鸟居耀蔵和江川英龙两个人性情不一致，其它矛盾更多。
江川“性格端方，谈吐率直”，和直秀一直巴结的大身旗本小栗忠顺一样，说白了就是性格严肃、情商不高、不会说话。小栗以大身旗本继承人的身份都被排挤，还被起了外号叫“天狗”-外号不是说小栗长的丑或者有力量。因为当时民间传说“修行未臻火候、态度傲慢的山僧，死后会变成天狗”，所以这外号是讽刺小栗粗鲁傲慢的。
鸟居耀蔵是一个合格的官僚，笑里藏刀，而此时江川的政治智慧还未成熟，多请示、勤汇报、功劳是上司的错误是自己的，这些都不熟练，江川相比鸟居更有才华，一起工作时鸟居的面子不知道被扫了多少。
另外鸟居耀蔵是幕府三大奉行（寺社奉行、江户町奉行、勘定奉行）之一，是有资格在江户城里办公的，相比鸟居而言江川就是地方武士，鸟居对江川是有心理优势的。
尤其鸟居是个守旧武士，对喜欢兰学的江川很不满意，怎么看怎么觉得轻佻、过激。
鸟居耀蔵是一个合格的官僚，笑里藏刀，而此时江川的政治智慧还未成熟，于是鸟居立马就教江川如何做人。
江川英龙为工作邀请了渡边华山等兰学家相助，鸟居耀蔵向幕府举报渡边华山等人“诽谤幕府，图谋不轨”，由此掀起了“蛮社之狱”（或称“洋学党之乱”）。
所谓“蛮社”，就是指渡边华山等人创建的兰学研究会“尚齿会”，因为当时称西洋人为南蛮人，所以又名“蛮学社中”。当时因为兰学的内容已经由荷兰书籍扩大到整个欧洲书籍，所以兰学渐渐被称为“洋学”。
鸟居做事如何不好说，但做官绝对是一流的，时机选的准、下手对象也选的更准。
天保八年（1837年）七月，美国商船莫里森号来到扶桑，以送还扶桑漂流民为名开进浦贺要求通商，因为《异国船打拂令》遭炮击退走，后来又在萨摩山川遭到炮击。
东亚文化氛围造成了学者普遍强烈的政治责任感，以渡边华山、高野长英为首的兰学者纷纷向幕府上书，认为此举过于蛮横会遭到世界各国的谴责，希望撤销《异国船打拂令》。
此时的江户时期四大凶作（农业大饥荒）之一的“天保凶作”（1833年至1839年)还在持续，各地的“一揆”（暴动、起义）此起彼伏，各地下级官吏、学者纷纷上书要求幕府“改革吏治、惩治奸商、开仓放粮”，幕府焦头烂额，哪里还顾得上小小一艘外国船的事情。而且幕府此时因为“大盐平八郎之乱”对有影响力的学者已经非常警惕了。
“大盐平八郎之乱”发生在天保八年（1837年）二月，下层武士、农民、町民、秽多、非人共同参与，檄文“四海穷困，天禄将终，小人治国，灾害并至”、“为天下计，我辈甘冒灭族之祸，结集合志，诛殃民之官吏，戮骄奢之富商，发其窝藏之金银粮米，散于无田少田之人”，烧毁房屋三千多家，占大坂市区面积的五分之一。虽然当天就镇压下去，但影响非常深远。
暴动后，各地以大盐平八郎之名的“一揆”蜂起，同年4月．备后国(广岛县)三原郡爆发了起义，起事者打着大盐弟子的旗号，跟广岛藩军激战。同年6月，越后国(新泻县)柏崎又有自称大盐弟子的国学者生田万，散发檄文，掀起暴动，攻打幕府代官的邸宅。其余小型“一揆”不胜列举。
因为大盐平八郎是著名学者，所以幕府对有影响力的学者非常不放心。
此时是天保十年（1839年），大盐平八郎事件刚刚过去两年。幕府老中水野忠邦收到鸟居耀藏的检举，立刻派人查抄“尚齿会”，果然从渡边华山的私人笔记中找到了对幕府的诸多不满言辞，因此兴起大狱。其结果是包括渡边华山、高野长英等二十余人被逮捕，小关三英“畏罪”自杀。
“蛮社(洋学党)之狱”后，兰学者受到重大打击。
之后鸟居耀藏对洋学者再次出手。天保十三年(1842年)鸟居耀藏等人检举被幕府召来江户“制造枪炮、改革兵制、传授西洋炮术”的高岛秋帆，罪名是“阴蓄私兵、图谋不轨”。十月二日，高岛被鸟居耀藏逮捕。这其中也夹杂着鸟居耀藏和江川英龙的一点私人恩怨，高岛是江川推荐的，而鸟居耀藏之前在“蛮社之狱”事件里和江川交恶。
