有了这样的工作岗位，段伯宇面临的首要任务是为党工作。1946年5月，他得知周恩来率领的中共代表团进驻南京梅园新村，与国民政府进行谈判，便想方设法与代表团取得联系。但国民党特务机关加紧对中共代表进行监视和控制，代表团驻地周围布满形形色色的特务，“空气中布满特务的眼睛”，段伯宇始终无法接近。

正当段伯宇急切地寻找党组织时，他在值班时检查文件档案，偶然见到一个尘封很久的木匣，打开一看，全是国民党中央通讯社收集的中共中央文件和毛泽东等中央领导同志的报告、讲话，顿时非常兴奋。这些文件是军务局为研究共产党对策而收集和保管的，段伯宇争取到了机会，经常学习研究，了解了党的基本方针和政策，为开展党的地下工作提供了依据和指南。

团结爱国将领武装反蒋

抗战胜利后，中国共产党为争取和平民主作出巨大努力。但蒋介石集团违背全国人民的意愿，撕毁政协协议，发动全面内战。在此情况下，段伯宇积极团结国民党爱国将领，反对蒋介石的内战政策。段伯宇在陆军大学学习期间团结的一批有爱国思想的进步同学，先后分配到国民党军事政治机关工作。段伯宇经常以座谈、联谊、聚餐等形式向他们表明自己对时局的看法，揭露蒋介石背叛孙中山三大政策、勾结美帝国主义、反共反人民的真相，以事实说明打内战不得人心。段伯宇的这些思想工作，引起了一些同学的深思和共鸣，他们对蒋介石倒行逆施的不满与日俱增。这为后来组织武装反蒋奠定了思想基础。

1948年9月，国民党军10万余人在济南战役中被歼灭，蒋介石以大城市为主的“重点防御”体系开始崩溃。1948年11月，正在军务局上班的段伯宇突然接到时任国民党国防部预备干部局代局长贾亦斌的电话，约他到家中商谈。到会的主要是段伯宇陆军大学的同学。大家争论不已，纷纷表达对蒋介石发动内战、国民党贪污腐化和四大家族垄断金融搜刮民脂民膏的不满，认为国民党失去民心、败局已定，不能和其同归于尽，商议在南京发动暴动。段伯宇听到同学们的意见，既感到突然，又很高兴。他经过审慎的思考，认为既不能泼冷水，也不能盲动。他向大家了解了能调动的部队情况，对大家讲了自己的意见。他表示：“第一，十分同情同学们的义举，但我们能调动的部队无几，南京有重兵驻守，我们的行动无异以卵击石，如暴露了自己，则非常不利。第二，我们要反蒋，是革命行动，但绝不能盲动，应当有组织、有计划、有领导地搞。第三，我们要掌握武装，积蓄力量，待机行动。”段伯宇冷静理智的分析，大家一致表示同意。这次会议后，段伯宇立即行动，约弟弟段仲宇和陆军大学同学宋光烈等分别谈话，通报情况，布置工作。宋光烈联系了国民党106军军长王修身、96军军长于兆龙。段仲宇联系了爱国将领齐国榰、王海峤等人。经过多方工作，到1948年冬，段伯宇联系和约定准备参加起义的国民党部队计有10万余人，分布在西起芜湖，经南京、常州、上海，东至嘉兴、杭州的广阔区域。