潘美、贺令图又率军前来，耶律斜轸在飞狐又一次将他们击败。潘美兵败飞狐后，奉赵光义都诏旨掩护边民撤退，于是潘美与杨业引兵护送四州吏民南迁。当时宋军运源、应州的守兵都弃城南走，辽军乘胜突入寰州，杀死了守城吏卒千余人

杨业见耶律斜轸已经率军据寰州，兵势正盛，于是想避其锋芒，向潘美等人建议道：“现在辽军的兵力和士气都很旺盛，我们不能和他们正面交战。朝廷只是让我们护送这几个州的百姓，我们只需带领部队从大石路出发，先派人秘密告诉云州、朔州的守将。等到大军离开代州的那天，命令云州的部队先出发。我的部队驻扎在应州，辽军必然来抵抗，就下令让朔州百姓出城，直接进入石碣谷。同时派一千弓箭手埋伏在谷口，命骑兵在中路支援，那么三州的百姓，就能够万无一失了。

监军王侁反驳他的建议，说道：“我们带领来好几万精兵，却如此畏惧怯懦。只需直奔雁门北川，大张旗鼓的前进。”护军刘文裕也赞成王侁的意见。杨业说道：“不行，这样一定会失败。”王侁却挖苦地说道：“将军一直号称‘无敌’，现在看到敌人却犹豫不前，难道你是有别的心思？”杨业说道：“我不是怕死，只是觉得时机对我们不利。白白让士卒死伤，却立不了功。现在您责怪我为何不死，我就在大家前面出发。”

将要出发的时候，杨业哭着对潘美说道：“这次行动，一定对我们不利。我是太原的降将，按理应当处死。皇上没有杀我，恩宠我让我做了将帅，交给我兵权。不是我放过敌人不去攻击，只是想等时机，准备立点军功来报效国家。现在大家责怪我躲避敌人，我应当率先死命杀敌只是恐怕不能再见主帅了！”

潘美听完，哼了一声，装着笑脸道：“君家父子，都久负盛名。如今还没有交战，就先动摇军心，难怪令人不解。你尽管放胆前去，我当前来救应。”杨业并指着陈家谷口说道：“请诸位的军马在这里摆开步兵、弓箭，作为左右翼的支援兵力。等我转战到这里，就用步兵夹击敌人救援我们，否则，都会被敌人所杀。”潘美于是和王侁率领部下的兵马在谷口布阵。

杨业于是率兵从石跌口出发，杨延玉、杨延昭随父同行。途中遇到辽兵，杨业父子当即挥军杀去。耶律斜轸稍微接战一会，就指挥辽军后撤。杨业挥兵追赶，他看见一路上都是平原，估计没有伏兵，于是只管尽力穷追不舍。耶律斜轸边战边走，把杨业诱到中途。

突然辽军放起号炮，四面伏兵蜂蛹而来。耶律斜轸又转身杀了回来，把杨