1838年5月，120师主力一部分坚守和扩大晋西北抗日根据地，其他主力部队分散战斗，相继开辟冀东抗日根据地、桑干河西岸抗日根据地、雁北抗日根据地、大青山抗日根据地。到1938年12月，形成以大青山为依托的绥西、绥南、绥中三块游击根据地，并逐步同晋西北根据地连成一片，形成晋绥抗日根据地，包括山西西北部和绥远东南部广大地区。晋绥抗日根据地，是矗立在陕甘宁边区门户上一道难以逾越的屏障，使日军始终未能越过黄河进犯陕甘宁边区。

在民族生死存亡的历史关头，国民党顽固派制造的反共摩擦事件却接连不断。1939年12月，阎锡山几乎动用了全部晋绥军进攻山西新军，镇压与新军一体的山西牺牲救国同盟会，发动震惊全国的晋西事变。为维护抗日民族统一战线大局，党中央采取“有理、有利、有节”的外交方针，争取阎锡山继续留在抗日阵营，妥善处理了晋西事变。

晋西事变后，为继续凝聚军民抗日的决心和意志，1940年1月15日，晋西北军民代表大会在兴县蔡家崖召开，正式建立根据地政权，当时为了争取阎锡山继续抗日，仍沿用山西省第二游击区行署的名义，1941年8月决定改为晋西北行政公署。1943年11月，晋西北行政公署更名为晋绥边区行政公署。

1941年1月，国民党制造皖南事变，掀起第二次反共高潮，八路军军饷被断，武器装备、军需补给需要自力更生、自行筹募。而此时国际局势风云突变，6月纳粹德国闪击苏联，轴心国之一的日本以为苏联被牵制在欧洲战场，无力支援远东，于是大规模扩充在华北的关东军兵力和武器。1941—1942年侵华日军加紧分割、封锁、蚕食根据地，进行大规模“扫荡”，实行烧光、杀光、抢光“三光”政策，日伪军千人以上“扫荡”达19次，累计400余天。边区斗争异常艰难，晋绥抗日根据地处于极端困难时期。