汉武帝时期，苏武奉命以中郎将出使匈奴，被扣留。匈奴知道苏武不愿意投降，匈奴单于想尽各种办法迫使他投降。于是就把苏武囚禁起来，放在大地窖里面，不给他饭吃，也不给他水喝，变着法的折磨他。

天无绝人之路，正当他渴得饿得不行时，忽然下起了雪，苏武就卧在雪地里着嚼雪，同毡毛一起吞下充饥，来补充体力，几日也没有死。

匈奴人认为苏武真的很神奇，就把苏武流放到北海边没有人的地方。让他放牧公羊，说等到公羊产了崽儿，就放他回大汉。同时也把他的部下及其随从人员，分别安置到别的地方。苏武被流放到北海后，因为没有粮食吃，就掘取野鼠所储藏的野生果实来吃，以此来维持生命。

即使苏武经历生死考验，受尽各种磨难。但他始终每天拄着汉朝皇帝赐予他的节仗牧羊，无论是晚上睡觉，还是白天放羊，他都不离手。时间长了，系在节仗上的节旄都全部掉落了。

日复一日，年复一年，苏武历尽艰辛，留居匈奴19年持节不屈。直到汉昭帝六年，他才获释回到大汉。苏武去世后，汉宣帝将其列为麒麟阁十一功臣之一，以此彰显他的节操。这就是历史上的《苏武牧羊》。