幼年从父学艺，工铜锤花脸，兼宗何桂山。同时，他从韩乐卿习练武功把子，学架子花脸戏；“倒仓”后又向何通海学得不少如《庆阳图》、《太行山》一类的开场戏；还从屈兆奎学了一些非正工花脸所演的如《秦淮河》、《双沙河》等诙谐戏，以应付搭班之需要。在这期间，他随父演出于北京各戏院。他正式投拜的业师乃是唱小生的德珺如，因其父与德交谊深厚，又是后者将他荐入伶界作正式演员的，遂拜德为“带道师”。

金少山初登舞台于杨香翠所主持的宝胜和班，该班主演有武生黄月山等人。1911年改入双庆班，1914年又搭鸿庆、永庆各班，与梅兰芳、朱素云、谢宝云合演《岳家庄》，与王瑶卿合演《金猛关》，与程继先、荣蝶仙合演《秦淮河》，与韦久峰合演《审刺客》，与其父合演《白良关》、《洪羊洞》、《穆柯寨》。当时，北京菊坛名角如林，像他这样一个初出茅庐的年轻后生，不易得到大展才华的机会，当时的金少山尚为土内明珠，犹未耀彩。

金少山幼年跟父亲学戏并和父亲同台演出。1912年他第一次到上海演出于新新舞台，就是和他父亲一起随谭鑫培南来的。11月14日首场，谭鑫培演《失·空·斩》，金秀山扮演司马懿，金少山扮演马谡。当时，金氏父子在《白良关》中分饰尉迟父子，在《洪羊洞》中分饰孟良、焦赞，都曾在京剧界留下美谈。金少山还得到过他的太老师何桂山许多亲传。尤其是他那精美、大方的脸谱，主要师法何桂山。

父亲谢世后，金少山在北京几乎不能自立，遂往烟台等外地演出。及至嗓音转好，于1922年辗转到达上海，先后隶丹桂等一台、共舞台任长期坐包演员（为外邀演员充当配演，俗称“班底”而非“底包”），绝少知音。在这里，他遇上了许多艺事优秀的合作者，如林树森、白玉昆等。由于这种机缘，他又学会和新排了不少剧目，大大充实了腹笥，拓宽了戏路。《审七长亭》就是在这期间向刘永春学的，后来成为他的代表作之一。

1922年冬，上海约梅兰芳旅沪公演，《霸王别姬》中的霸王一席，难于物色。正当为难之际，恰逢王瑶卿刚由沪返京，他便推荐了金少山。金少山的戏由大管事李春林为他说戏监排，临期一经登台场，以其魁硕修伟的身躯，宽额丰颐的扮相，叱咤风云的气势，声若洪钟的唱念，将西楚霸王的风采再现于舞台，轰动了上海滩。自此，他的声望与日俱增。1937年他重返京华，自组“松竹社”挑梁奏艺，开花脸挂头牌先例，2月14日，在华乐戏园首场演出《连环套》，引起了巨大轰动。这是京剧历史上的一件大事，它标志着净行艺术的发展进入了一个新的时期。以周瑞安、张荣奎、陈少霖、李多奎、姜妙香、王福山等名伶为佐，松竹社多年不衰。并与梅兰芳、孟小冬、马连良、谭富英等合作演出。1943年他再到上海出演于皇后大戏院，门口的“客满”牌，竟达六个月之久不能摘下。金少山直到辞世，雄踞净行首席，誉满大江南北。其技艺出类拔萃，被誉为“十全大净”，因其成功地塑造了项羽的艺术形象，故而又有“金霸王”之美称。

作为一个花脸演员，金少山具有得天独厚的条件。他的生前好友、戏曲家翁偶虹曾说：“有人赞金少山的嗓音之高亢胜过何桂山，表作之精细不让黄润甫，身材之魁梧超出李寿山，武功之娴熟甚于庆春圃。这四位都是净行中造诣深湛的前贤，说金少山能集众家之美，萃于一身，是当之无愧的。”武生前辈尚和玉生前也曾赞叹说：“金少山那样的大花脸，真是要哪儿有哪儿，实在是难得的全材，说得上前无古人！”金少山确是一个天赋优厚的全面人材。他的声音之洪亮响亮，确有声震屋瓦、震耳欲聋之势。高、中、低、宽、厚、亮、面面俱备。他在鼻音的运用上，也有自己的特色。头腔、胸腔与鼻腔共鸣的方法用得巧妙得法，唱来灵巧、和谐而无沉闷、单调之感。它如虎音、膛音、立音、炸音也都一应俱全、用来随心所欲。

金少山的唱腔朴实无华，不事雕琢，似乎平淡无奇，实则逋峭浑厚，于顺畅自然之中显现气势。他唱[快板]最见功力，吐字、气口、尺寸都驾驭自如，快而不乱，流畅清晰，字字入耳。如《锁五龙》单雄信痛斥李世民、徐茂公、罗成的三段；《断密涧》李密与王伯党的对口都具有代表性。在唱腔中，他善于借鉴、吸收其它行当中一些唱法，用以丰富花脸唱腔，贴切、新巧而不着痕迹。他的唱，在继承金秀山、何桂山唱法的基础上有所发展，自成一体。

他的念白的功力也极为深厚，善于运用高、矮、宽、细各音，于轻重疾徐、迟急顿搓的变化中，刻画人物性格，揭示角色心理，收到达意传神之效。如《连环套·拜山》窦尔墩与黄天霸对白，《审七长亭》李七在公堂上的大段自白，均属精品。念京韵白的太监戏更有独到之处，如《黄金台》的伊立、《忠孝全》的王振、《法门寺》的刘瑾等，都是他的得意之作。