同意在横滨进行谈判，此后米船也不再靠近江户近海，幕府方面开始在横滨村搭建临时会所。
3月8日，也就是黑船二次来访的第二十四天，双方的谈判人员终于正式见面——也就是说，2月26日到3月7日，搭建这个临时会所用了十天的时间！
在上岸前，米船鸣了十七响礼炮，在乐队的伴奏下，佩里率领五百余人登陆，开始了第一轮谈判，结果非常之不顺利，据说佩里在开始不久就拂袖而去。
原来，在2月24日波瓦坦号迫近江户近海之后，幕府召集了诸侯和重臣商议到底该怎么办，是打还是和。
当时水户的隐居大殿（退休的藩主）德川齐昭和一些诸侯要求武力抵抗，但会议现场大部分的声音还是要谈——因为确实打不过。
人家米船漂在海上，我们的战船都是小船，怎么打啊。德川齐昭认为米人肯定要靠近岸边进行炮击，到时开炮还击就是了，但有1842年的英吉利中华南海之战的例子，大家都认为炮击取胜的希望很小。有人表示可以放米人上岸来打，这个就更荒谬了，人家万一在炮击后不上岸，那不扯淡了——白挨一顿毒打，而且在将军驻跸地江户开战，大家都觉得要谨慎。
但大家都不能明说”我们不行“，只能表示”以和为贵，但打起来我们也不怕“。
所以给林大学头等人的最新命令是”可以在横滨谈，但不要辱国“——这个命令有多坑爹呢？结果在谈判的第一天就显示出了结果。
3月8日，幕府和米人在寒暄后，林大学头递交了给米人国书的正式回信，还是兰语版本，信中大意是”扶桑大君刚刚过世，幕府的内部事务很多，所以不便进行交涉。米国要求的避难港、补给港确实有一定的道理，但需要等过一段时间幕府腾出手来再谈“。
这还是抱着能拖一天就拖一天的态度在敷衍，可佩里带着九艘战舰可不是来听这个的，他当即表示“如扶桑不接受我方的要求，将从米国本土调集100艘的军舰到江户湾开战”，同时他又批判了幕府对待漂流民的处理方式，他认为“扶桑不仅不去救助别国遇难的船只，还不接受送返的本国漂流民，实为不仁之至，和礼~仪之邦的传闻实在是天差地别“。
前一句还好，毕竟流氓咱也不是没见过——这外国的流氓虽然是头一次见，但本国的流氓多了去了；但这后一句，确实令自诩道德之士的林大学头等人羞愧。
但好在佩里说完就拂袖而去了，这避免了大家继续尬尴。
第一轮的谈判结果迅速送到了江户城，面对米人特使赤裸裸的军势威胁，老中们紧急召集包括德川齐昭在内的幕府重臣前来江户城进行商议，这次大部分的诸侯和幕府旗本都同意互相救济漂流民、开设避难港和补给港，但德川齐昭仅同意营救漂流民一项，对其余事项都继续反对，他还表示”打就打，怕的是孙子“。
在此会议中，幕府的首席老中阿部正弘始终保持沉默，看着齐昭等少数人被众人围攻，最后的结论就是可以谈——这回不拖延了。
但在会议后的次日，齐昭开始称病不出，不再参与与米人谈判的任何会议。
3月13日，幕府和佩里进行了第二轮谈判。
在谈判开始后，佩里抢先拿出了米方的约定草案，并且提供了1844年米国与中华签订的《望厦约定》文本给幕府的谈判小组参考，于是当天就在研究文本中渡过——可怜的幕府对开国几乎毫无准备，兰国商馆也未在此之前提供任何帮助。到底是幕府之前一直拒绝还是兰人没有提供过，到今天还对此争论不休。
中午休息的时候，佩里让马其顿舰的舰长阿伯特带人献上精心准备的礼物，从幕府将军、老中到扶桑谈判组成员都有，这些包括给幕府将军的小船等、给老中首席阿部正弘的落地摆钟等，还有葡萄酒、香槟、香水、照相机、望远镜、西洋军刀、左轮手枪等等。
而且这里礼物里还包含了蒸汽机车模型、有线电报机各一套，并且佩里让人在附近搭建演示。
这个蒸汽机车模型就是小火车加轨道，不但能运作而且可以让人坐在蒸汽机车的特制车厢上在轨道上绕圈子。搭建起来后顿时引发了轰动，据说林大学头等人工作之余非常喜欢用这个散心。
而有线电报机运作起来也带来了阵阵惊呼，在没有喊话的情况下，居然可以远距离通信，这是幕府重臣们第一次感受到了西洋科技的进步！
第二天，幕府方面也进行了回礼，包括扶桑的字画、瓷器、漆器、扇子、武士刀及精美的滑膛枪等，另外还送了米二百俵、鸡二百只，由五个力士（相扑手）进行搬运——希望借此显示扶桑的勇猛。
但第二轮谈判依然非常艰难，互相救济漂流民的部分通过了，但幕府方面坚持不同意开港通商，理由和当时的中华一样，”我扶桑地大物博，无需通商交换有无。“
无奈之下，佩里只能改变策略，3月17日他同意双方暂时不进行通商，但要求幕府开设避难港和补给港。
林大学头等人表示要向江户方面请示，于是3月13日-3月17日的第二轮谈判结束。
这次很快就得到了幕府的答复——”可以谈“，但这个时间点没有资料明确记载，反正第三轮谈判就这么开始了，
这次谈判主要是围绕避难港和补给港的相关各种细节以及港口位置，佩里提出以箱馆和浦贺或其它神奈川港口为开港地，而幕府方面坚持选在箱馆和下田港。
佩里在得知幕府倾向开放下田港后，就向下田港派出了两艘调查船。
这轮谈判的时间比较长，期间佩里多次加码，他又提出了开设领事屋、允许米人登陆上岸、划出专属活动区域、自由采购所需物品等要求，幕府方面则附加上了一定的限制后接受了其中的多项要求——在开设领事屋一事上双方日后争议很大，幕府认为”根据后来的附约，是必须双方同意后才可派驻使节“，但米人认为”一方认可即可成行“，据说是双方对不同语言版本的误解。
3月27日，双方达成一致，然后林大学头派人将最终版本送往江户审核。当天晚上，佩里邀请幕府谈判组成员到米船上参加宴会，双方痛饮香槟酒。
1854年3月31日，扶桑与米国签订了第一个约定，双方交换了条约的文本，即《扶桑米国和亲约定》，双方代表签字之后佩里派副手亚当斯携合约和报告返回米国——幕府坚持米人大统领先签字然后幕府将军才会签字。
而佩里及留下的米人水军则由森山荣之助等幕吏引导，游览附近五英里的地区。
林大学头等人以为事情就这么平安过去了，但他们想错了——几天后米船在江户湾重新开始测量水文，4月9日佩里率密西西比号和波瓦坦号两艘蒸汽风帆混动动力舰悍然北上航行至江户近海，。
事情突然有了变化，幕府一时措手不及，在多次抗议和沟通之后，佩里表示”没有恶意，完全是好奇“——据说这是佩里在抗议幕府不同意米人立即登陆下田港。
4月11日，他命令属舰分赴小笠原群岛和下田港两地，但佩里的旗舰已经留在江户湾——佩里之前在小笠原建立兵站，去那里是为了补给；而去下田则是为了实地勘查。
4月18日早四时佩里旗舰开往下田港，下午三时十分抵该港，他当场赞美下田港，并曾亲自登陆视察。
5月13日，他又由下田赴箱馆，于17日抵达。经过视察后，他于6月3日离港，6日返回下田。
翌日，佩里在了仙寺与林大学头等会见。经过数次谈判，6月18日，双方在附约十三条上签字。
6月21日，佩里开始准备离开扶桑，6月28日米船全部离港。
1854年7月1日佩里抵那霸，在那里他重新修订了去年与那霸王国订立的约定。6月17日他率领舰队离开那霸直航香江。
结果在香江佩里接到命令要他返回米国，于是他踏上了回国的旅途，于1855年1月12日到达纽约——从1852年11月他离开米国时算起已经过去了两年零两个月。
PS:
《扶桑米国和亲约定》请参阅作品相关里的“《扶桑米国和亲约定》-1854年”。
林大学头，名韑，字弸中，号复斋，日后著有同佩里的交涉记录《墨夷应接录》。当时他拒绝在英文版的文笔上签字，理由是他看不懂英文，不知道英文版的内容。
当时佩里送给幕府的礼物中有香槟酒，但扶桑民间以讹传讹，香槟酒变成了中华特产”三鞭酒“——是谣传还是有意讽刺幕府不行，这个谁知道呢。
1854年佩里六十岁，4月10日是他的生日，这也是后世有学者认为4月9日前后佩里率两艘军舰前往江户近海的原因——因为时区不同，他想在六十岁生日这天看看这个被自己亲手打开国门的国度首府是什么样子。
佩里后来的经历：
1855年，佩里回到米国，议院投票通过给予他20000美金以表彰其在扶桑的功绩。
佩里用部分奖金出版了他的著作《扶桑远征记》———三卷的《米国舰队在中华海和扶桑的远征报告》。
他担任的最后一个职位是NavalEfficiencyBoard。1858年3月4日，也就是卸任该职位才刚慢2天时，他就在纽约市去世了，死因是风湿热（已经蔓延到心脏）和有因痛风和酗酒引起的并发症。
