丑八怪的说法来自扬州八怪：

扬州八怪指的是趣味相投画风相似的一批人，他们是：郑燮、金农、汪士慎、罗聘、李蟮、高翔、黄慎、李方膺、高凤翰、华岩、闵贞、边寿民、陈撰、杨法、李勉等人（在中文里“八”往往用作虚数词，表示数量多，并不意味“扬州八怪”只有八个人）。

这些人在当时所谓的正统画派眼里一是做人不合时宜、我行我素，二是作画我从我法、推陈出新。

所以被蔑成为“丑八怪”。

然而，他们的怪异又入情入理，很被广大百姓喜爱，因此，一方面被主流画家和上层社会所攻击、不容，一方面又深受大众喜爱，名气大振。