金鸾山连着南屏山和赤壁山。在它的山脚下有座凤雏庵，相传是当年庞统隐居的地方。庞统是襄阳人，为什么千里迢迢到这里来隐居呢？
传说，赤壁大战以前，三国的人马都往这里一步步会合。眼看要打大仗，附近的百姓都躲的躲，逃的逃，全走光了。这时候，庞统却下汉水，过夏口，走长江，来到这座荒山上，搭个茅棚住了下来。他托言隐居读书，其实要在这场大战中，选择真正的英雄，去辅佐他呢。
不久，赤壁大战开始，庞统献了连环计，为火烧曹操的战船立了大功。刘备看出了他是个人才，他也看准了刘备是个贤君，便做了他的军师。庞统别号凤雏，原来一直没有得志，到这里才被人重用，好像凤雏长硬了翅膀一样，高高地飞起来了，所以他喜爱这块地方，胜过喜爱自己的家乡。
刘备进取四川的时候，庞统在战场上被打死了，就变成一只金光闪闪的凤凰，又回到了这块地方，栖居在一棵梧桐树上。据说，“金鸾山”就是因此而得名的。
后来，当地的百姓知道庞统死了，就在他原来住过的地方盖了一座瓦房纪念他，这就是如今的凤雏庵。