苏武是汉武帝时的中郎将，出使过匈奴，被匈奴单于拘禁在北海边牧羊十九年，宁死不屈。匈奴单于还曾把苏武先后遣送到好几个地方去牧羊，不让他有一点与汉朝联系的机会。传说，现在的扬芬港就是当初苏武放过羊的地方。

那时候，这里离海边很近，荒无人烟，一年四季风雪不断，十分寒冷。单于为了免除后患，就打算把苏武活活饿死在这里，不但不给他吃的喝的，还挑选了一群骨瘦如柴的小羊羔，让他放养，说如果不把这些羊羔养得膘肥体壮，就把苏武杀死。

起先，苏武没有吃的就嚼毡毛，掘鼠洞里的草籽，渴了就吃雪，冷了就卧在那些小绵羊身边取暖，苏武始终没有屈服。当时正是冬天，野地里只有一些剩下的干草根，羊群根本没法活下去，眼看着小羊羔一天比一天瘦。

有一天，苏武困了，刚想躺下来，发现身边多了一只自己从没见过的老绵羊，它满身的白毛，没有一根杂毛，可脑袋却是黑的。老绵羊伸出舌头舔了舔苏武的手，转身就走，苏武很是奇怪，就在后面跟着，可是怎么也追不上，人快羊也快，人慢羊也慢。到了一块土坡后面，老绵羊“咩咩”叫着，在原地转了几圈，不见了。苏武左找右找，找不着，正纳闷，闻见身边有一股肉香。一回头，见土坡上摆着烤熟的羊肉和干粮。苏武忙冲天拜了三拜，知道这是神灵在保佑自己。

这天夜里，下了一宿的小雪。冰雪融化后，地上冒出小草。第二天苏武醒来一看，自言自语说：“这草要是再长高一些就好了。”小草像能听懂话似的，马上又长高了好多，方圆几十里的土地草木茂盛，任羊儿怎么吃也不见少，小羊羔渐渐地肥壮起来。单于觉很得奇怪，但没一点办法，就又把苏武送到更加荒凉的北海边牧羊。

苏武走后，这里的羊粪已差不多堆积如山了。后来到了元朝，有位叫张保安的蒙古族人定居在这儿，开始有了人家，把这里称为“羊粪岗”，成了扬芬港的前身。清末，一位叫张大壮的举人曾在扬芬港旧街西头天齐庙门前立过一块石碑，上刻“苏武牧羊之地”。当地人们逢年过节都要杀猪宰羊祭拜苏武。

乾隆年间，乾隆皇帝南巡，乘龙舟游到“羊粪岗”，住在村东头的行宫里。这里有护村河环绕东淀，芦苇摇曳，荷花盛开，十里飘香，花香稻香弥漫在行宫内外。乾隆见此情景，称赞说：“好一个太平昌盛村。”并没有看到羊粪，觉得“扬芬”倒名副其实，立刻给这个村改名“扬芬港”。于是“羊粪岗”变成了现在的“扬芬港”。