長平之戰趙軍慘敗，留下了四十餘萬的俘虜，如何安置這些俘虜，成了擺在秦國面前的一道難題。
眼下的趙軍的四十萬俘虜，每日消耗的軍糧就讓秦國力不從心了。長平之戰勞民傷财，到如今秦軍自己的糧草供給都已經十分緊張，很快就會有缺糧的危險。
此外，趙國俘虜還是個未知的隐患，是個随時可能爆炸的炸彈。留在軍營裡面肯定行不通，遷到秦國土地充斥其民，很可能導緻互相仇殺和戰亂，甚至有人還有可能暗自和趙國私通。
如果放回趙國，隻要趙王振臂一呼，他們必定能夠被重新招募起來，三年長平大戰秦軍死傷過半，足以窺見趙軍戰力之強悍，如果他們再次被招募起來，必定知恥而後勇，成為秦軍的心腹之患。
事情考慮到這裡，衆人心裡明白，隻有一種方法，才能夠使秦國永絕後患，那就是——殺。
秦昭襄王雖然殺伐果斷，但是從來沒有想到，自己會屠殺四十萬手無寸鐵的俘虜。這種事情一旦做下，雖然能夠極大地震懾敵人，但也無疑會留下千古罵名。于是，秦昭襄王沒有知會白起，便回到秦國了。行前還留下口谕，讓白起便宜行事，全權處理長平的戰俘問題。
王乾茫然了，王翦也迷茫了，司馬梗也心悸了。他們知道秦國的選擇，就是殺掉戰俘；也知道，秦昭襄王是不願意背負這個罵名的。
當時的人對于殺害投降俘虜的事情，都很忌諱。秦昭襄王本人更是不能背負這個壞名聲而引起天下人的公憤，而白起是統帥，是秦軍之中誰也無法逾越的人，這件事隻能由他去做。
下決心殺害四十萬趙軍已然艱難無比，但是還有更加艱難的事情擺在後面，那就是如何動手。要知道，那可是整整四十萬人馬，就是一個個站在那裡任秦軍砍殺，也不知何年何月才能夠殺完。若是在動手之前被他們察覺而有所防備并奮起反抗，秦軍大營必定會亂作一團。
于是，白起下令，趁着趙軍還沒有絲毫防備，把他們驅趕到陽谷方向。将40萬名趙國俘虜分為10個大營，讓10個将領分别統領，同時還調撥了20萬名秦軍負責維持治安。
白起為了不引起俘虜的懷疑，還下達了一份假的诏令，讓他們準備好明日接受秦軍的選拔，凡是合格的人，都會被充到秦軍的軍營當中，不合格的人，都會給予路費，遣傳回到趙國。趙軍俘虜感恩涕零，卻不知這份假的诏令背後隐藏了巨大的殺機。
這夜，秦軍将10個大營的俘虜集中驅趕到了一個山谷，繼而分兵堵住谷口。再将無數的山石和點燃的木柴從兩側的山崖上一股腦地砸将下來，等待俘虜們的是如暴雨般砸來的山石和火種。
此時的趙軍餓得一點力氣都沒有，根本無力反抗，大部分要麼被柴火燒成焦屍，要麼被山石砸破腦袋，甚至被巨石整個兒地從身上碾過去，變成一攤肉餅，偶爾有幾個強壯些掙紮着爬到山上的趙卒，也迅速被山頂的秦軍殺死，并扔回山谷之中。
整整一個晚上，秦軍數十萬大軍都如同瘋子一般殺紅了眼，黑夜見證了人性的醜惡。第二天，天空忽然飄下了瓢潑大雨，似乎是對數十萬亡靈的沉痛哀悼。
唐開元十一年(723年)，唐玄宗李隆基巡幸至此，還能夠看見漫山遍野白骨森森的景象。為了安撫他們的亡魂，唐玄宗親自緻祭，命高僧設水陸法事七晝夜，超度坑卒亡魂，并将該谷命名為“省冤谷”。