船行至江陵，升庵将从这里起岸，经湖南、贵州到云南。此后山川险恶，道路崎岖，升庵不忍累及爱妻，坚持要黄峨顺长江回蜀。“江陵初解帆，仓皇理征衫，家人从此别，客泪不可缄”。杨升庵与黄峨即将离别，他们冒着朔风飞雪，立于江陵古渡，难分难舍，悲泪纵横。升庵触景生情，作了《临江仙.江陵别内》：“楚塞巴山横渡口，行人莫上江楼。征骖去桌两悠悠，相看临远水，独自上孤舟。却羡多情沙上岛，双飞双宿河洲。今宵明月为谁留，团团清影好，偏照别离愁。”
黄峨读罢此词，悲痛欲绝，纵有万语千言，也不知从何说，从何写了，她在回蜀途中，心潮起伏，难以安定。忽然，她情思奔放，一口气写下了《罗江怨·阁情》四首，其一云：“空庭月影斜，东方亮也。金鸡惊散枕边蝶。长亭十里、阳关三叠，相思相见何年月。泪流襟上血，愁穿心上结，鸳鸢被冷雕鞍热。”黄峨这首用血和泪写成的散曲，追忆了她与升庵在江陵惜别的景况和心情，读起来感人至深。
黄峨回到新都，静居榴阁，强压悲愤，茹苦含辛，孝敬公婆，教哺子侄，为远谪在外的杨升庵操持家务，排难分忧。中秋节到了，黄峨孑然一身，来到桂湖，见杨升庵沿湖种植的桂树正绽蕊飘香，她触景生情，想起了往事：就在升庵到京复职的那年中秋之夜，夫妻二人在桂湖赏月。他们偎依湖边，一对倩影倒映水中，和桂影一起晃动着。她油然地吟诵出友人泸雍所作的《桂湖夜月》：“月白湖光净，波寒桂影繁，人间与天上，两树本同根”。她借此诗表达了与杨升庵相依相存，天上人间，永不离分的的愿望。就在那时，杨升庵摘一枝金桂花插上黄峨乌黑的发髻，随即口占道：“银汉无声下玉霜，素娥青女斗新妆；折来金粟枝枝艳，插上乌云朵朵”。黄峨高兴地将此诗记下，题为《桂林一枝》……现在，景物依旧，杨升庵去远，黄峨怎不思念啊！
黄峨登上城垣，遥望南天，顿添惆怅，她回到榴阁，以深沉的思念之情，写下了长为艺林传诵的《黄莺儿》散曲：“积雨酿春寒，看繁花树残。泥途江眼登临倦，云山几盘，江流几湾，天涯极目空肠断。寄书难，无情征雁，飞不到滇南。”后来，升庵读到这首情深意远、字字佳绝的散曲，倍加赞赏，他不甘落后于夫人，乃用心计，另外和作了三首《黄莺儿》。结果，每首的意境和字句都赶不上黄峨所作的，真真愧煞了这位状元郎。
被迫辞职还乡的杨廷和担忧国事，思念儿子，忧思成疾，病势沉重，杨升庵闻讯，回蜀探望，当父亲痊愈后，黄峨便随同杨升庵，跋涉千山万水，去到云南连陲，成为杨升庵讲学、着书的好帮手。他们生活虽然淡泊，但夫妻同甘共苦，互相体贴，并常以词曲唱和，交流心声。
杨廷和病故，黄峨回蜀挑起了家庭重担，暑往寒来，花前月下，她怎不思念千里外的亲人？飞雁不到，锦书难寄，升庵何年才能被赦归来啊！黄峨声泪俱下，写出了脍炙人口的名篇《寄外》诗：“雁飞曾不度衡阳，锦字何由寄永昌？三朝花柳妄薄命，六诏风烟君断肠。日归日归愁岁暮，其雨其雨怨朝阳。相闻空有刀环约，何日金鸡下夜郎。”
远在滇海之涯的杨升庵，“辞家衣线绽，去国履痕穿”，以何赏不思念黄峨这位贤淑而有才情的妻子呢！他接连写了《画眉关忆内》、《青蛉行·寄内》、《离思行》等诗篇，发出了“易求海上琼枝树，难得阁中锦字书”、“相思离恨知多少，烦恼凄凉有万千”的哀叹。在世宗的严密控制下，升庵被赦还的机会十分渺茫，黄峨由盼望而失望，最后只有自我安慰了。她在《寄升庵》一诗中写道：“懒把音书寄日边，别离经岁又经年。郎君自是无归计，何处青山不杜鹃！”诗中说，黄峨强压自己长期思念亲人的感情，后来连书信也懒寄了，应当是杨升庵永远回不来了。
杨升庵在云南流放期间，着书讲学，传播文化，受到了各族人民的爱戴，但为封建统治者所不容。根据明朝的律例，罪犯年满七十即可归休，不再服役，当白发苍苍的杨升庵七十岁归蜀不久，又被世宗的鹰犬派遣四名指挥将他抓回云南。杨升庵悲愤到极点，不到半年，即含恨死在一座古庙中，噩耗传来，黄峨悲伤万状，泣不成声，她不惜以花甲之年，赢弱之身，徒步赴云南奔丧。走到泸州，遇上升庵的灵柩，她仿照南北朝才女刘令娴的《祭夫文》自作哀章，词语凄怆哀惋，闻者无不垂泪，灵柩运抵新都，家庭中人和亲戚朋友都主张厚葬升庵。
黄峨料到世宗连死了的杨升庵也是不会轻易放过的，便力排众议，强忍悲恸，以简单的丧仪装敛了升庵的遗体。不久，世宗果然派人来查验，见死去的杨升庵穿戴着戍卒的衣帽静躺棺内，一副服罪的样子，也就不好再刁难了，众人从心里佩服和赞赏黄峨有先见之明。这时，黄峨忆及夫妻一往情深和升庵生前死后的不幸遭遇，悲泣不止，次年冬天，黄峨将升庵附葬在新都西郊其祖父杨春墓的左边。
世宗晏驾，由裕王朱载垕即位，他颁发世宗遗诏，宽赦“议大礼”获罪诸臣：活着的召用，死的抚恤，被关押的开释复职。杨升庵已死七年，被恢复原官，并追赠为光禄寺少卿，后来又谥封为文宪公，峨也由安人晋封为宜人。黄峨病故，她和杨升庵一样，活了七十一岁，并实现了与丈夫“生同心，死同穴”的誓愿。
