山地南部属于中朝准地台，北部属吉黑华力西褶皱带。中生代燕山运动使南北构造方向统一，形成华夏向山地基础。第三纪喜马拉雅运动又大规模挠折断块上升，同时伴有大量玄武岩喷出。山地主要由花岗岩、玄武岩、片麻岩和片岩组成，而以花岗岩分布面积最广。玄武岩主要分布在牡丹江流域和长白山周围。
长白山脉地以平等山脉与宽广山间盆、谷地相间分布为特征：北部完达山、老爷岭和张广才岭间有牡丹江平原；吉林哈达岭和龙岗山脉间有辉发河宽谷；吉林哈达岭和大黑山间有饮马河和伊通河河谷平原；龙岗山脉和老岭间有浑江谷地等等。其中著名盆地有吉林、敦化、延吉、和龙、蛟河、珲春、桦甸等。同时熔岩高原广阔，分布在抚松到密山一线东南，熔岩台地受切割形成方山与孤丘等熔岩地貌。在熔岩高原上分布有火山锥体及火口湖、堰塞湖等。
山地海拔大部500～1000米，仅部分超过千米。2000米以上皆在长白山附近，最高峰将军峰（在朝鲜侧）2749.2米，为亚洲大陆东部高山之一。中山区主要分布于张广才岭、老爷岭、威虎岭和龙岗山脉以东，一般山岭皆在千米以上；低山丘陵分布最广，有完达山脉、吉林哈达岭和大黑山等。 在亿万年以来的地质历史上，长白山地区经历了沧海桑田的变迁。最初，这里被海水淹没。到处是一片汪洋大海，后来由于地壳的上升，海水退出，地表重新露出水面，在阳光、雨水和气候变化等外力作用下，地面岩石遭受风化和破坏，最后长白山还经历了火山爆发和冰川的雕塑，形成今天的地貌景观。
在距今约3000万年前，即第三纪的时候，地球进入了一个新的活动时期，即地质学上所说的喜马拉雅造山运动。在大约2500万年的时间里，长白山地区经历了4次火山喷发活动，玄武岩浆从上地幔出发，沿着地壳中的巨大裂隙不断上涌，以巨大的能量喷出地表（地质学上称为裂隙式火山喷发）。携有强大冲击力的岩浆，将原来的岩石及岩浆中先期凝固的岩块及火山灰、水蒸气等喷向空中，然后在重力和风力的作用下降落到火山口周围或一侧，堆积成各种火山地貌。由于玄武岩浆粘度较小，在地表的流动速度较快，流淌的距离较远，所以形成了广阔的玄武岩台地。长白山区沿北西方向分布的南岗山脉，长虹岭及影壁山等长白山主峰的基底均为此期形成的玄武岩台地。在距今约60万年至1500万年（第四纪中－晚更新世）期间，长白山区又经历了一个地壳活动的时期，地质上称为长白山期。这个时期发生了4次火山爆发，爆发方式以中心式为特点，地下岩浆沿着深断裂的交汇处形成的筒形通道上涌，在地表构成了火山锥体地貌景观。
第一次火山喷发形成的60万年前左右的喷出物构成了长白山火山锥体底板；第二次火山喷发在距今40～30万年左右，此次喷发持续时间较长，岩层分布面积广，厚度大；第三次火山喷发在距今20～10万年左右，最后完成了长白山火山锥体形态；第四次喷发大约在距今8万年左右，以小规模火山活动为主，熔岩流覆盖在火山锥体某些部位之上。至此，长白山主峰形成了。
在以上4次火山活动中，每一次喷出的火山物质都使火山增高200米以上。同时，在主火山口周围，还形成了一些小的寄生火山口。此后，长白山进入相对稳定时期。
在11000～15000年（第四纪全新世期间）前，火山再次复活，喷出了大量的灰白－淡黄色浮岩，局部厚度达60米。这次猛烈的火山爆发，使火山锥顶部崩破塌陷，形成了漏斗状火山口。当火山喷发强度及熔岩温度逐渐降低时，熔浆在火山通道内逐渐冷凝并堵塞火山通道。在火山作用停止后，火山口内接受大气降水和地下水的不断补给，逐渐蓄水成湖，形成火山口湖。这就是闻名遐迩的长白山天池。
长白山火山口湖的周围，群峰屹立，其中超过2500米的山峰就有16座，其他山峰高度均在2300米以上。山顶部几乎全由距今12000年前后喷发的火山灰和淡黄色浮岩所组成。山峰陡峭嵯峨，挺拔峻秀，如莲花、似竹笋，十分壮观，与天池碧水交相辉映，美不胜收。
当长白山主体形成后，该区进入了火山爆发的间歇期，地壳运动相对稳定。但是，在地质历史的长河中（地球形成距今至少有46亿年，长白山区的地壳演化也进行了约32亿年），长白山的地质演化历史只是短短的一瞬间。长白山火山爆发的历史就更加短暂了，但至今还没有死去，只是处于休眠状态，称为休眠火山。据史料记载，自明万历二十五年（1597年）以来，长白山火山曾有过三次小规模的间歇式活动。
第一次喷发是在明万历二十五年（1597年8月26日）。据目击者记载，当时有“放炮之声，仰见则烟气张天，大如数搂之石，随烟折出，飞过大山后不知去处”。
第二次喷发是在清康熙七年（1668年），长白山区下了一场“雨灰”（即火山灰）。
第三次喷发是在清康熙四十一年（1702年4月14日）。据史料记载：“午时，天地忽然晦螟，时或赤黄，有同烟焰，腥臭满室，若在烘炉中，人不堪重热。四更后消止，而至朝视之，则遍野雨灰，恰似焚蛤壳者”，“同月同日，稍晚后，烟雾云气，忽自西北，地昏暗，腥臭袭人之衣裙”。又据《长白山江冈志略》记载，长白山附近有“炭崖”，“崖底出木炭甚多，猎者每拾以为炊，土人因其出于地中，故以神炭呼之，……过此拾有数块，燃之以烤鹿脯，与寻常木炭无异。但以两丈深之土崖，能产木炭，大者拱把（两手合围——作者注），小者一握。”经地质工作者考证，这些木炭是由于这次火山喷发时高温的熔浆将树木烘烤、燃烧炭化的结果。
长白山火山目前处于休眠期。在海拔两千多米的山上，有多处温泉不断从地下溢出，这说明，地下仍孕育着巨大的能量。据近代地震观测，长白山区地壳相对稳定。长白尚无火山喷发的征兆。
