明朝的时候，杭州有个卖水果的人，很会储藏柑橘。他保存的柑橘经过一个冬天和一个夏天都不会腐烂，柑橘皮又红又滋润，饱含着水分，像宝石一样，非常美丽。柑橘的价格虽然很高，买的人却不少。
有一次，明朝大臣刘基买了他一个柑橘，剥开皮却臭气冲天，再看里面的果瓤，早就干得像破棉絮了。刘基气愤地责问道：“你为什么弄虚作假欺骗顾客？”
卖柑橘的人笑了笑，说：“我做这个生意已经很多年了，而且就靠这个过日子。我愿意卖，人家愿意买，谁都没意见，只有你这位先生不满意。你可知道，当今世上欺骗人的多着呢！你不想想，那些腰间佩着兵符好像是保卫国家的武将，难道真有孙子、吴起的打仗本领吗？那些头戴乌纱帽、神气十足的人，难道真是治国的人才吗？其实他们也没多大本领。人民的疾苦，他们根本就不管；官吏们胡作非为，他们也不制止。他们只顾自己吃饱了肚子，耗费国家的粮食和钱财，却不知道羞耻。这些人和我卖的柑橘一样，看起来非常光鲜亮丽，但是肚子里什么能耐都没有。”
刘基听了这番话，哑口无言。回到家里后，他就写了《卖柑者言》这篇文章，其中就有“金玉其外，败絮其中”一句。
后来，人们用“金玉其外，败絮其中”作为成语，比喻外表虽然很华丽，可是里面却已经一团糟了。