在失去河西走廊后，匈奴向西北退却，依靠西域诸国的人力、物力，与西汉对抗。汉武帝再任张骞为中郎将，率300多名随员，携带金币丝帛等财物数千巨万，牛羊万头，第二次出使西域。此行的目的，一是招与匈奴有矛盾的乌孙东归故地，以断匈奴右臂；二是宣扬国威，劝说西域诸国与汉联合，使之成为汉王朝之外臣。
张骞到达乌孙时，恰逢乌孙内乱，没有达到劝说乌孙东归的目的。不过，张骞的副使则分别访问了中亚的大宛、康居、大月氏、大夏等国，扩大了西汉王朝的政治影响，增强了相互间的了解，张骞一行偕乌孙使者数十人，返抵长安。张骞两次出使西域，促进了中西经济文化交流。此后，汉朝和西域各国经常互派使者，大者数百，少者百余人，促进了双方贸易的发展，形成了“商胡贩客，日款于塞下”的景象。
处于西域东端的楼兰、姑师仍在匈奴的控制之下，他们在匈奴的挑唆下，经常出兵攻杀汉朝使者，劫掠商旅财物，成为汉通往西域的严重障碍。为确保西域通道，汉将赵破奴、王恢率700轻骑突袭楼兰，后赵破奴又率军数万击破姑师，并在酒泉至玉门关一线设立亭障，作为供应粮草的驿站和防守的哨所。
随张骞至长安的乌孙使者回国，报告汉王朝的强盛后，增强了乌孙王昆莫对汉王朝的信任。再次派使者到长安，表示愿得尚汉公主，为昆弟，请求与汉和亲。汉武帝把江都王刘建之女细君，作为公主嫁给昆莫，并赐乘舆服御物，为备官属宦官侍御数百人。细君死后，汉王朝又将楚王刘戊之女解忧公主，嫁给乌孙王岑陬。这两次和亲，对于巩固汉与乌孙的友好关系，使乌孙成为汉在西方牵制匈奴的一支重要力量，以及发展双方经济、文化交流等，都起到了积极作用。
为了打破匈奴对大宛的控制并获得大宛的汗血马，汉武帝两次派贰师将军李广利西征大宛，迫使大宛进贡良马几十匹，中马以下牡牝三千余匹。沿途中亚各国听说汉军征服了大宛国，无不大受震动，各国王公贵族纷纷派遣子侄跟随汉军回到中原，为汉武帝呈上贡品，并留在汉朝作为人质，表示对汉武帝的效忠。
至此，张骞定下的用外交手段和贸易来扩张汉王朝在中亚影响力的策略取得了成功。此后，汉政府在楼兰、渠犁和轮台驻兵屯垦，置校尉。这是汉在西域最早设立的军事和行政机构，为后来设西域都护创造了条件。
汉使沿着张骞的足迹，来到了今伊朗境内，并拜见了安息国国王，汉朝使臣在献上了了华丽光洁的丝绸，安息国王非常高兴，以鸵鸟蛋和一个魔术表演团回赠汉武帝，这标志着连接东方的中国和西方的罗马帝国的丝绸之路正式建立。在之后的岁月中，不论在东方还是在西方，张骞的名字都被人们所牢记，使汉朝与西域各国建立了友好关系，西域第一次与内地联系成一体，促进了西域社会的进步，也丰富了中原的物质生活。
由于张骞等人的沟通，此后汉朝和西域的经济文化交流频繁，天马、汗血马等良种马传入，葡萄、核桃、苜蓿、石榴、胡萝卜和地毯等传入内地，丰富了汉族的经济生活，汉族的铸铁、开渠、凿井等技术和丝织品、金属工具等，传到了西域，促进了西域的经济发展。
张骞在大夏时，看到了四川的土产邛竹杖和蜀布，追问它们的来源。大夏人告诉他，是大夏的商人从身毒买来的，而身毒国位于大夏的东南方。回国后，张骞向汉武帝报告了这一情况，并推断大夏位居中国的西南，距长安一万二千里，身毒在大夏东南数千里，从身毒到长安的距离不会比大夏到长安的距离远。而四川在长安西南，身毒有蜀的产物，这证明身毒离蜀不会太远。据此，张骞向汉武帝建议，遣使南下，从蜀往西南行，另辟一条直通身毒和中亚诸国的路线，以避开通过羌人和匈奴地区的危险。
张骞的推断，从大的方位来看是正确的，但距离远近的估计则与实际情况不合。当然，在近二千年前张骞达到这样的认识水平，是难能可贵的。汉武帝基于沟通同大宛、康居、月氏、印度和安息的直接交往，扩大自己的政治影响，彻底孤立匈奴的目的，欣然采纳了张骞的建议，并命张骞去犍为郡亲自主持其事。
张骞派出四支探索队伍，分别从四川的成都和宜宾出发，向青海南部、西藏东部和云南境内前进，最后的目的地都是身毒。四路使者各行约一、二千里，分别受阻于氐、榨和禹、昆明少数民族地区，未能继续前进，先后返回。
张骞所领导的由西南探辟新路线的活动，虽没有取得预期的结果，但对西南的开发是有很大贡献的，张骞派出的使者，已深入到当年庄乔所建的滇国。
滇国，又名滇越，因遇有战事将士们坐在大象上作战，故又叫“乘象国”。使臣们了解到，在此以前，蜀的商人已经常带着货物去滇越贸易。同时还知道住在昆明一带的少数民族“无君长”，“善寇盗”。正是由于其阻挠，使得汉朝的使臣不得不停止前进。
在此以前，西南各地的少数民族，对汉朝的情况几乎都不了解，难怪汉使者会见滇王时，滇王竟然好奇地问：“汉朝同我们滇国比较，是哪一国大呢？”使者到夜郎时，夜郎侯同样也提出了这个问题，这就成为后世“夜郎自大”典故的由来。通过汉使者的解释和介绍，他们才了解到汉朝的强大。汉王朝从此也更注意加强同滇国、夜郎及其它部落的联系。汉王朝正式设置牂牁、越侥、沈黎、汶山、武都等五郡，以后又置益州、交趾等郡，基本上完成了对西南地区的开拓。
