晋惠帝永康元年(300年)四月，赵王司马伦和心腹孙秀起兵发难，并废贾皇后为庶人，然后又将其杀死。司马伦执掌朝纲，孙秀为中书令。潘安和孙秀昔日曾有宿怨，潘安主动向孙秀表示好意说：“孙令难道还会在意我们过去那些不愉快的事情吗？”孙秀冷冷地回答：“中心藏之，何日忘之！”后来，孙秀拘捕了潘安、石崇等人。刑场上，潘安见白发苍苍的母亲也戴着枷锁和自己一起引颈就戮，无限悲伤，这次，潘安因自身谄媚权贵而招致被“夷三族”，就是三代人被杀，其中包括他的父母、兄弟以及兄弟们的妻子儿女。在罹难的潘家族人中，只有潘安之兄潘释的儿子伯武和潘安之弟潘豹的妻女侥幸得免。潘安被葬在其父的墓前，潘尼为其撰写碑文说：“君遇孙秀之难，阖门受祸，故门生感覆醢以增恸，乃树碑以记事……”

潘安50岁的时候，写了《闲居赋》，总结出了自己前半生仕途落魄的主要原因是“拙”，所以，他决定弃“拙”而取“巧”。于是，潘安开始谄媚权贵，依附于权臣贾充等人。贾后(贾南风)垂帘听政时，潘安做了当时的权臣贾谧(贾后之侄)的文学集团“二十四友”之首。为了讨好贾谧，他还时刻恭候在贾谧的宅院外面，一看到贾谧出门，立刻望尘而拜。元好问曾经写诗论述此事说：“高情千古《闲居赋》，争信安仁(潘安字安仁)拜路尘。”从此，“拜尘”一词就成了谄媚权贵的代名词。