汉武帝从投降的匈奴人得知，有一个被匈奴打败的月氏国，向西迁移到西域（今新疆及新疆以西）一带。他就想，如果汉朝能跟月氏联合起来，断绝匈奴跟西域 各国的交往，就会使匈奴腹背受敌。公元前138年，他下诏征召出使月氏的人。张骞和匈奴族人堂邑父及一百多名勇士应征出发去找月氏国。
他们在途经匈奴占领地时，虽然小心翼翼地隐蔽前进，但没走几天，还是做了匈奴的俘虏。他们在被匈奴扣押十多年后，张骞与堂邑父秘密商量，趁匈奴人不备，骑上两匹快马逃走了。他们一直向西跑了几十天，才逃出匈奴地界，进入大宛国（在今中亚细亚）。
张骞和堂邑父用匈奴话与大宛人交谈。大宛王早就知道汉朝是个富饶强盛的大国，他听说汉朝使者到了，热情接待，并派人护送他们到康居（约在今巴尔喀什湖和咸海之间）。后来，他们又从康居到了月氏。
月氏被匈奴打败以后，在大夏（今阿富汗北部）附近建立了大月氏国。大月氏国王听了张骞的来意，虽然作为汉朝的使者很有礼貌地接待了他们，但是，因为大月 氏不想得罪匈奴，所以不愿夹击匈奴。张骞和堂邑父在大月氏住了一年多，没能说服大月氏国共同对付匈奴，只好于公元前126年返回长安。张骞这次出使西域整 整用了13年时间，汉武帝为了嘉奖他的功劳，封他为太中大夫。
在汉武帝派卫青、霍去病消灭了匈奴兵主力，把匈奴赶到大漠以北后，于公元前119年，汉武帝再次派张骞出使西域。张骞和他的几名副手，举着汉朝的旌节，带领三百勇士，还带着一万多头牛羊和许多黄金、绸缎、布帛等礼物去西域建立友好关系。
张骞到了乌孙（今新疆伊犁河流域），乌孙王亲自出来迎接。张骞送给他一份厚礼，建议两国结为亲戚，共同抵御匈奴。张骞又派他的副手们带着礼物，分别去联络大宛、大月氏、于阗（在今新疆和田一带）等国。乌孙王派了几个翻译作他们的助手。
张骞等了很长时间，派出去的副手也没回来，于是决定先回国。乌孙王派了几十人护送张骞，并让他们顺便到长安参观，还选了几十匹高头大马送给汉朝皇帝。公元前115年张骞回到了长安，汉武帝见乌孙人到来，又得到了乌孙王送的良马，格外优待乌孙使者。
次年张骞病故后，张骞在西域派往各国的副手也陆续回到长安。他们一共到过36个国家。
从此，汉朝和西域各国建立了友好关系，汉武帝每年都派使节去访问西域各国。西域派来的使节和商人也络绎不绝。中国经过西域到西亚，再通往欧洲的 丝绸之路 从此开通。