吕梁石的成因极其复杂，该石主要成分为泥灰岩、灰岩,大约形成于震旦纪，由泥岩及海藻等低等植物复合组成其独特的垒块形态，受自然风化后形成不规则且排列有序的多层竖型洞穴。吕梁山在造山运动时，被挤压出了许多折皱，致使石面凹凸不平。自上古至明代的几千年中，黄河南北徒移，行踪无定。南徒后夺涡、颖、睢、汴、泗水与淮水（河）而入海。就在黄河南徒的水道上，徐州东南30公里的吕梁、房村口汇于泗水东流，形成大洪，史书称为吕梁洪。春秋时期，孔子曾驻足吕梁洪边，目睹“悬水三十仞、流沫九十里”的壮观景象，留下了“子在川上曰：逝者如斯夫，不舍昼夜”的千古名句。千百年来，吕梁洪水不断地冲击着吕梁石，使本来折皱较深的石纹，在洪水的反复冲击与风化下，逐渐形成了特有的洞穴状态。这些布满了洞穴的奇石，尤以吕梁乡白楼村的黑山、东山、西山和牛犊山所出的发育最佳。吕梁山特有的吕梁石，因其蕴涵着古老文化的气息而越发显得浑厚苍劲。