关于武宗与刘良女相识的经过，有两种不同的说法。《明实录》中记载刘良女是太原晋王府乐工杨腾的妻子。武宗游幸山西时，派人到太原索要女乐，得到了刘良女。武宗喜她色艺俱佳，就从榆林带回了豹房。
《稗说》则讲述了另一个版本的爱情故事。刘良女是大同代王府上有名的歌姬，武宗曾假扮低级军官出入于王府的教坊，因而得以认识刘氏。当时武宗在这样的风月场所中并不太引人注意，别人还以为他只是个普通的军官而已，但是刘氏慧眼识珠，认定他不是个平常人，就对他另眼相看。武宗记住了这个刘氏，后来派人将其接到北京。这就成了后来著名戏曲《游龙戏凤》的故事框架，只不过刘氏变成了李凤姐。武宗下江南时，刘氏一直陪伴在身旁，多次一同出现在臣民面前。武宗在南京赏赐寺庙幡幢（chuánɡ）上都要写上自己和刘氏的名字，刘氏也成为武宗一生中最宠爱的女人。