冯云山出生在一个“家道殷实”的家庭。父亲冯绍衔,早故;母亲胡氏。家距官禄布五里,是洪秀全的表亲和同学,关系极为密切。他自幼诵读经史,博览群书,虽屡试不第,但学得一套中国旧文化的知识。他不愿过剥削阶级的生活,就去当了一名穷苦的农村蒙馆塾师。
道光二十三年(1843年)洪秀全在家乡创立拜上帝会,冯云山是他的忠实信徒。为了宣传“拜上帝会”,他把家中所供奉的佛像神像和儒书以及孔丘、孟轲的牌位全部捣碎烧掉。由于他的大胆行为以及所传播的新信仰,遭到乡中一些人的反对,因而失去了教席。
道光二十四年五月,冯云山跟随洪秀全离开花县,先去珠江三角洲,然后辗转到广西的贵县赐谷村,宣传拜上帝教,他们在贵县几个月里,吸收了一百多个农民为信徒。同年十月,洪秀全回花县。冯云山独留浔州,开始其艰苦卓绝的宣传教义、组织发动群众的工作。在古林社,曾靠拾牛粪换点米度日,又在上古林社曾槐英家干过放牛、砍柴、挑水等杂活。后得曾槐英推荐,道光二十五年到荒僻的紫荆山任书馆先生。他白天教书,晚上手提火把,翻山越岭,串村走寨,宣传拜上帝教,发展会众。那些耕山烧炭的山民对他十分信服,在不到三年的时间内,发展了山区农民、烧炭工三千余人加入“拜上帝会”,培养了杨秀清、萧朝贵等一批骨干分子。
道光二十七年秋,洪秀全再次回到广西与冯云山会晤,决定以紫荆山为基地,积蓄革命力量。这时,冯云山协助洪秀全设立“拜上帝会”总机关,参与制定拜上帝会仪式和《十款天条》,率众开展反封建斗争。道光二十八年正月,冯云山遭劣绅控告,曾两次被捕入狱,在狱中坚贞不屈,并创制了一部新历法。同年十月,经会众营救出狱,后返回花县与洪秀全共谋武装起义。道光二十九年七月,冯云山随洪秀全重回紫荆山区,与杨秀清、萧朝贵等结成异姓兄弟,形成领导核心。道光三十年与洪秀全往平南花洲组织营团。咸丰元年(1851年)参与领导金田起义。
金田起义时,冯云山任前导副军师,领后军主将。起义后于同年十二月,在永安(今蒙山)被封为南王,七千岁。
太平天国作出的种种改革,都有冯云山的功劳。他在狱中所创制的《太平天历》被批准颁行。于咸丰二年起施行于太平天国管辖的地区。《天历》以“便民耕种兴作”和“农时为正”。天历的使用贯穿太平天国始终。他还负责订立了《太平军目》、《太平官制》、《太平礼制》等。
咸丰二年五月,冯云山指挥攻占全州时,中炮受伤。当他处在生命垂危之际,仍对杨秀清说:“迅速出兵,休为我一人误了大事。”六月初十,在蓑衣渡因伤势恶化而牺牲。