“衣冠禽兽”一语来源于明代官员的服饰。据史料记载，明朝规定，文官官服绣禽，武官官服绘兽。品级不同，所绣的禽和兽也不同，具体的规定是：

文官一品绣仙鹤，二品绣锦鸡，三品绣孔雀，四品绣云雁，五品绣白鹇，六品绣鹭鸶，七品绣鸳鸯，八品绣黄鹂，九品绣鹌鹑。

武官一品、二品绘狮子，三品绘虎，四品绘豹，五品绘熊，六品、七品绘彪，八品绘犀牛，九品绘海马。文武官员一品至四品穿红袍，五品至七品穿青袍，八品和九品穿绿袍。所以，当时“衣冠禽兽”一语是赞语，颇有令人羡慕的味道。

到了明朝中晚期，宦官专权，政治腐败。文官武将欺压百姓无恶不作，声名狼藉，老百姓视其为匪盗瘟神，于是，“衣冠禽兽”一语开始有了贬义，老百姓对为非作歹、道德败坏的文武官员称其为“衣冠禽兽”。

其贬义之称，最早见于明末陈汝元所著《金莲记》一书。清代以后，“衣冠禽兽”一语遂用做贬义，泛指外表衣帽整齐，行为却如禽兽的人，比喻其道德败坏。