安政二年（1855年）八月，因齐昭一系的压力，支持与西洋诸国签署约定的两位老中，松平乘全、松平忠优，被罢免，但此事引发了对手的激烈反弹。
谱代大名、大身旗本势力开始抱团，并很快做出了反击——同年十月，齐昭一系提出的老中人选未被采纳，而支持两位被罢免老中的佐仓堀田家主正睦升任老中，并主管与外国的交涉事务。
同月，江户大地震爆发，心力憔悴的阿部侍从正弘将老中首座让与堀田，而自身退任胜手方老中。
这样的政局反复是权势架构重塑的必然结果。
嘉永七年，也就是安政元年（1854年）六月，面对西洋诸国的压迫，幕府不得不提出举扶桑一致的口号，希望联合所有势力共度难关。
当时老中阿部侍从等人规划的是挺好，希望引入德川亲藩齐昭一系的力量后，能增强幕府的实力和影响力，进而网罗原本处于权势边缘的势力——京都小朝廷和外样大名，从而一箭三雕，既能保证局势的平稳，而且还能维系幕府的主动，顺便可以压制幕府内部食古不化的臣子。
可万万没想到的是，水户老藩主齐昭复出后，确实声势不小且支持者众多，但齐昭一系却莫名其妙地抛弃了默契，将矛头直接指向了幕府中枢老中评定会。
于是，本来可能出现的大好局面变成了一锅粥——亲藩、谱代大名和旗本不但不能精诚团结，反而幕府内部先打起来了！
安政（1857年）和历七月，在直秀赶往江户请罪之前，白主奉行所内部进行了局势推演，当时江川英敏代直秀说出了齐昭的各项不足：
首先，意气用事是齐昭的最大问题。
君子藏器于身，待时而动。
可恃才傲物的齐昭偏不——复出前与老中首席阿部侍从建立的默契，没多久就被他自己破坏掉了。
齐昭于弘化元年（1844年）就退隐了，水户家主之位也交给了儿子庆笃，为了让他复出参与幕政，阿部推动幕府于嘉永六年（1853年）任命他为海防挂。
可在复出的第二年，齐昭因为对《扶桑米国和亲约定》的签订不满，他自己把海防挂辞了。
后来，在阿部的努力下，幕府又任命齐昭监督水军建设。
但因树敌过多，兜兜转转之后，齐昭一系却一直没有拿到什么重要的役职。
如今扶桑的治政由幕府执牛耳，而幕政的两个中心是公方样侧近人和老中评定会——侧近人等近侍靠影响将军而拥有最终决策权；老中评定会是幕府各种役职的顶峰，拥有行政权。
本来，因为齐昭名气大、身份高，而且将开国弊端说得清清楚楚，白主众人对他印象很好，可时间一长，直秀等人发现这位是猛将而不是帅才。
齐昭把一手好牌打得稀巴烂：
支持的人多，有人望；身为德川家顶级亲藩，有名位。
可人望、名位两不缺的齐昭，一直纠结于具体事务的对错，完全抓不到重点
就拿罢免两位老中来说吧，赤膊上阵是第一不可取，而齐昭一系没拿到空出的老中役职更是个笑话！
从提出“举扶桑一致”起，阿部一系已经扯开了幕政专断的口子，只要齐昭耐心和他配合，将军侧近人也好，老中也罢，这两种顶级役职一定会
让出一些位置给齐昭一系。
可齐昭非要通过弹劾这种激烈的方式，完全是画蛇添足、过犹不及。
是，与西洋诸国签署的约定有一些弊端，但你非要拿这点做文章，徒然树敌而已——完全可以先忍耐一下，等到自己一系掌握大政时再做纠正。现在可好，要知道当时支持签署约定的大名和幕臣很多，齐昭一下子就把这些人都推到敌人的位置上了。
非对即错，这样的人执政，政局能平稳么？齐昭一系的激烈手段导致了很多人的担心。
于是很多人的立场由中立变成了反对，导致两个老中被罢免但齐昭等人一个空出来的位置都没拿到！
作为成熟的治政家，妥协和利益交换是难免的，但齐昭过于意气用事，给自己额外增添了很多不必要的困难。
齐昭的第二个弱点是大略不通。
当然，这也是首席老中阿部正弘的问题。
既然提出了举扶桑一致，那么原有的权势架构就要改变：
原本的幕政架构里，将军侧近人和老中是顶级役职。
激进的改变方式是另起炉灶，重新建立起一套新的制度——但这容易引发大的动荡，各方难以达成一致。
而较为缓和的办法是换人——架构不变，但放宽人选的来源，让更多的大名甚至外样大名来担任这两种役职，达到广泛参政的目的。
在直秀原本的世界里，幕府后来先是采用了缓和的办法，发现没有收到成效后，不得不又采用了激进的方式。
但直到安政二年（1855年）年底，齐昭一系一直拿不出让人眼前一亮的架构改变大略，只是不断地上书攻击执政的老中等重臣。
大家盼望的是解决问题的法子，不是希望挑错——治政的对错有时很难判断，需要长时间验证，因此白主等人认为齐昭一系“大略不通、方向有误”。
而且齐昭一系有个致命的弱点，那就是水户学说中的尊王及尊崇神道。
水户学说是扶桑国学的分支，当时与之相对的是儒学——幕府当时的官学昌平簧教授的是朱子儒学。
其实两者不无相通之处，都讲究尊卑和守礼。但水户学说自高自大，为了证明扶桑优秀将皇室神话。
不知道齐昭是真的遵循水户学说还是为了限制幕府，总之，在他的推动下，齐昭一系要求幕府在对外交涉上要取得皇室的支持。
在一开始建立德川幕府的时候，通过《禁中并公家诸法度》，幕府逼迫皇室“委托大政”于己。按后世的话说，扶桑小朝廷连橡皮图章都做不到，幕府法令只是走个形式到京都报备而已。
黑船来访后，阿部侍从等人出于长远考虑，为防止南蛮诸国及有心人以皇室的名义搞事，开始拉拢扶桑皇室，在提高待遇的同时也开始装模作样地向京都请示——《扶桑米国和亲约定》签署后，京都小朝廷表示不满，但阿部等老中也只是多加解释而已，并未怎么重视。
可齐昭一系，不断以皇室的名义对执政幕臣尤其是老中们施压，导致扶桑皇室的影响力日渐扩大——毕竟是皇室“委托大政”于幕府，如果实力派得到京都小朝廷的支持，极端情况下是可以起兵挑战幕府的，这就是扶桑千年流转的所谓“大义”。
通过这个限制幕府的权威，因此诸多外样大名也支持齐
昭尊王的主张。
但对于德川家的诸多亲藩大名、谱代大名和旗本来说，这无疑是“太阿倒持，授柄于人”，大家再怎么内斗也不能便宜外人啊，所以齐昭在幕臣中有吃里扒外的嫌疑。
至于尊崇神道，和尊王一样，都是水户学说基于自大扶桑而发扬光大的——神道是扶桑本地的，佛学是外来传入的，“内外有别”么。
但扶桑佛学兴盛，上至公方样下至百姓、町民，十之八九都是佛徒，而神道信徒寥寥无几——倒不是不信，而是浅信徒众多，看见了就拜看不见就想不起来那种。
齐昭出于自己的倾向，在幕政中大力推崇尊王及尊崇神道，自然引发了不少人的不满。
因此，声势浩大的齐昭一系是亲友团、政见相同及投机者组成的，其实凝聚力非常之差。
有这些不足，自然被直秀等人看轻，后面的幕政争斗发展也坐实了这种看法。
安政二年（1855年）八月，老中松平乘全、松平忠优被罢免，但当年十月，新任的老中堀田正笃依然是齐昭的死对头。
不久，江户大地震爆发，阿部侍从正弘将老中首座让与堀田。之后堀田带人处处于齐昭等人针锋相对。
尤其是与西洋诸国的交涉中，崛田一系大占上风，开国通商的基调已经形成——安政三年（1856年）十月，取消海防挂，新设置外国贸易挂，显示幕府已经下定了开国的决心。
安政三年（1856年）十一月公方样家定与岛津家的公主笃姬缘结。因为岛津家主齐彬是齐昭一系的人马，就此扳回一局。
迟迟拿不到幕政大权的齐昭一系，于安政四年（1857年）五月上疏切谏，“溜直诸藩德川氏设大老、老中二职，大老时有废置，老中常执政权，又撰诸亲藩轮值议政，日溜直”。
之后，有多名幕臣上书要求公方样立嗣。
幕政争斗就此白热化，集中在公方样世子和幕府大老两个人选上——“大老”是幕府非常设役职，位在老中之上，是公方样之下万人之上的位置。
齐昭一系支持的人选是世子一桥庆喜、大老松平松平庆永，而崛田等人支持纪州藩主庆福出任西丸样，同时对大老的设置十分抵制。
同年六月，胜手方老中阿部正弘病危。少了原本居中调和诸方的阿部，齐昭一系和崛田等人的争斗更加失去了控制。
当月，在笃姬入主大奥后由正笃更名为正睦的老中首席崛田正睦，取消了齐昭监督海军建设的差事，从此齐昭被隔离于幕政之外。
七月，在英佛联军与中华的亚罗号战争不断扩大之下，幕府废除外国贸易挂，设立外国奉行役职，开始准备与米人特使哈里斯进行通商交涉。
十二月，在齐昭一系的激烈反对下，《扶桑米人通商约定》草约完成。
安政五年元月，首席老中兼外国事务总裁堀田正睦、勘定奉行兼外国奉行川路圣谟，两人启程前往京都，向小朝廷申请约定的敕许。
在这之前，齐昭、堀田正睦两派人马早就派人到京都活动，除了约定事宜外，还包括了西丸样人选的敕许——将军世子的人选本是德川家的内政，过往只是走个过场，幕府报备朝廷就会立即颁旨同意。但如今在齐昭一系的支持下，京都小朝廷居然有可能就此发表意见，真是活久见！