原来"色衰爱弛"这个词最开始是用来形容男宠的，他人的爱总有消失的一天。这个成语最早出自于《韩非子-说难》，讲的是卫灵公有一个很得宠的男宠叫做弥子瑕。在他年轻貌美时卫灵公对他十分的宠爱纵容，有以下两件事可见一斑。

弥子瑕母亲病重时，他心急之下假托君命驾着卫灵公的君王车驾出了宫。卫灵公知道了不但没有责罚他还夸他孝顺。还有一次弥子瑕和卫灵公一起在果园内游玩，他吃了个桃子就想着跟爱人分享，就把桃子剩下一半让卫灵公吃。卫灵公不但没有嫌弃，还高兴的说："他多么爱我呀"，"特意把自己觉得好吃的东西""留下来给我吃"。

善语结善缘恶言伤人心。这个时候的卫灵公对弥子瑕真的是非常的喜爱，觉得他做什么都是好的。可是等到弥子瑕年老色衰之后，卫灵公对他爱也就衰退了。当弥子瑕因为一点小错得罪了卫灵公，卫灵公就会翻旧账，责备他斥责他以前不该偷乘他的车架，也不应该给他吃剩下的桃子。在他还爱他的时候就成了孝顺和分享，不爱的时候就成了错误。