徽州前称新安郡，地处安徽南部，东与浙江接壤。徽州文化积淀深厚，堪称中华传统文化之典范。不仅如此，自古以来，徽州地区名辈出，如休宁松萝、顶谷大方、、，乃至祁红、屯绿等，皆名动天下。
据传，清代康乾年间，徽州有一先祖源自中原的赵姓望族，由于朝中为官者突生变故，罪及家族受株连。满门被抄之际，仅一人因在外作客而幸免于难，闻讯后，匆忙遁走他乡。在前往皖浙的途中，遭遇官差质问姓氏，其人不敢实言，无意中望见身旁有棵桂树，玉蕊飘香，遂灵机一动，答曰姓“桂”，才侥幸逃过一劫。
之后，这位改“赵”姓“桂”者流落至安吉大溪地界，为避免不测，藏身隐匿于横坑坞深山。这个地方属于天目山脉，山峦叠嶂，人烟稀少。在接近山梁的深坞上，有一处地势较为平坦的山坡，前面有一条山溪横亘东西，在山岙里汇成一泓清潭，南面则是连绵群峰。于是，这位避难者便在这里结茅筑庐，开垦山地，扎下根来。
次年，一个春天的夜晚，这位来自徽州的避难者忽得一梦：一位须发皆白的仙翁将其领至西面山坡，随手一指，山地上破土而出一双奇葩，须臾，长成两株白色的仙树。正惊异间，仙翁已悄然隐去。
第二天清晨，在屋后的山坡上，发现山上有不少野茶树，而且都萌发了新芽。但和其徽州老家茶树不同的是，其中有两株茶树的芽叶竟然是玉白色的。随着时间的推移，远远望去，这两丛茶宛如锦团簇拥，灿若太白金星。好奇之余，便精心呵护起来。后来，又将这些采摘下来进行焙制，取来山前的泉水一瀹泡，滋味竟是清甘无比。更为奇妙的是，这些芽叶在碗中展开后，叶片愈发显得昭澈，仿佛璞中美玉，焕如晶莹春雪。从此，这一大一小仿佛情侣般的茶树就成了“桂”姓者的至爱。
春去秋来，当年落难到此的异乡人与附近的山民成了家，并生儿育女，过着平淡如茶的山里生活。斗转星移，“桂”家与茶为伴，繁衍生息，至今已有十数代。这个地方，后来就叫“桂家场”，而那两株奇异的茶树就叫“大溪”。
桂家以茶为主要营生，自祖辈开始，就立下了“分家不分茶”的规矩。因为这两丛白茶产量很有限，桂家每年将采制的白茶视为珍品，仅用来招待贵客。他们也曾尝试过茶树繁育，可奇怪的是，白茶开花但很少结籽，即便有结籽，播种长大后，叶子却是绿色的，失去了白化性状，与寻常茶树一般无二。久而久之，白茶树又多了一个别名“石女茶”，意思是无法传宗接代的茶。
说起石女茶，其实在明代就有人提及了。其时，曹洞宗的元来大师(即博山无异，安徽舒城人)就有“懒烹石女茶”语，而安吉灵峰寺的蕅益大师还与元来颇有法缘。
到了近代，又有好事者将其中一株小的白茶移植出谷，可惜却夭折了。从此，大溪桂家场只剩下一株白茶树，孤寂地藏身于幽邃的山坞。
据说1958年，安吉县文化馆就有人拍摄了白茶树的照片，著名茶学家、浙江大学茶学系的庄晚芳教授还在《人民日报》发表过文章，并引起斯里兰卡育种专家的兴趣。再后来，自上世纪八十年代初始，历经多个春秋，才发展成今日香溢天下的安吉白茶。
2006年6月17日午后，在安吉大溪横坑坞(现名“白茶谷”)海拔约800米的桂家场，白茶守护者桂全宝老人向笔者讲述了桂家以及白茶的由来。在场者，还有桂家阿姨潘春花、桂家之子桂新财和《茶博览》的孙状云先生(可惜他没注意我们的谈话，靠在竹榻上睡着了)。
