飛來峯，棱層剔透，嵌空玲瓏，是米顛袖中一塊奇石。使有石癖者見之，必具袍笏下拜，不敢以稱謂簡褻，只以石丈呼之也。深恨楊髡，遍體俱鑿佛像，羅漢世尊，櫛比皆是，如西子以花豔之膚，瑩白之體，刺作臺池鳥獸，乃以黔墨塗之也。奇格天成，妄遭錐鑿，思之骨痛。翻恨其不匿影西方，輕出靈鷲，受人戮辱；亦猶士君子生不逢時，不束身隱遁，以才華傑出，反受摧殘，郭璞、禰衡並受此慘矣。慧理一嘆，謂其何事飛來，蓋痛之也，亦惜之也。且楊髡沿溪所刻羅漢，皆貌己像，騎獅騎象，侍女皆裸體獻花，不一而足。田公汝成錐碎其一；餘少年讀書岣嶁，亦碎其一。聞楊髡當日住德藏寺，專發古冢，喜與殭屍淫媾。知寺後有來提舉夫人與陸左丞化女，皆以色夭，用水銀灌殮。楊命發其冢。有僧真諦者，性呆戇，爲寺中樵汲，聞之大怒，?梟呼詬誶。主僧懼禍，鎖禁之。及五鼓，楊髡起，趣衆發掘，真諦逾垣而出，抽韋馱木杵，奮擊楊髡，裂其腦蓋。從人救護，無不被傷。但見真諦於衆中跳躍，每逾尋丈，若隼撇虎騰，飛捷非人力可到。一時燈炬皆滅，?鋤畚插都被毀壞。楊髡大懼，謂是韋馱顯聖，不敢往發，率衆遽去，亦不敢問。此僧也，洵爲山靈吐氣。

袁宏道《飛來峯小記》：

湖上諸峯，當以飛來爲第一。峯石逾數十丈，而蒼翠玉立。渴虎奔猊，不足爲其怒也；神呼鬼立，不足爲其怪也；秋水暮煙，不足爲其色也；顛書吳畫，不足爲其變幻詰曲也。石上多異木，不假土壤，根生石外。前後大小洞四五，窈窕通明，溜乳作花，若刻若鏤。壁間佛像，皆楊禿所爲，如美人面上瘢痕，奇醜可厭。餘前後登飛來者五：初次與黃道元、方子公同登，單衫短後，直窮蓮花峯頂。每遇一石，無不發狂大叫。次與王聞溪同登；次爲陶石簣、周海寧；次爲王靜虛、陶石簣兄弟；次爲魯休寧。每遊一次，輒思作一詩，卒不可得。

又《戲題飛來峯》詩：

試問飛來峯，未飛在何處。人世多少塵，何事飛不去。

高古而鮮妍，楊、班不能賦。

白玉簇其顛，青蓮借其色。惟有虛空心，一片描不得。

平生梅道人，丹青如不識。

張岱《飛來峯》詩：

石原無此理，變幻自成形。天巧疑經鑿，神功不受型。

搜空或洚水，開闢必雷霆。應悔輕飛至，無端遭巨靈。

石意猶思動，夔尼勢若撐。鬼工穿曲折，兒戲斫瓏玲。

深入營三窟，蠻開倩五丁。飛來或飛去，防爾爲身輕。