1938年11月12日，王小謨出生於上海金山一個愛國軍官家庭。抗日戰爭期間，尚在幼年的王小謨跟隨父親輾轉後方，堅持抗日。抗日戰爭勝利後，王小謨隨家人返回上海，就讀於上海虹口小學。解放戰爭勝利前夕，王小謨同家人奔赴解放區，移居北京。

1956年，王小謨考入北京工業學院（今北京理工大學）無線電工程係。1961年，王小謨以八木天線為主要研究內容的畢業設計獲北京工業學院畢業設計一等獎；同年，他被分配到位於南京的國防部第十研究院第14研究所。

在14所期間，王小謨在總體室工作，參加了408雷達的研製，並擔任了583三坐標雷達專業組副組長，參與了國內研製583雷達可行性方案研究和初步工程設計。“文化大革命”期間，王小謨受到衝擊，583三坐標雷達被迫中斷，王小謨被調離原技術崗位，被安排到14所計算機房當機房管理員。王小謨沒有因此自怨自艾，而是把握管理計算機的機會，深入研究和掌握了計算機的原理與運用，這使得王小謨成為我國較早掌握計算機技術的專家，並為日後他在主持研製383雷達時率先采用自動化技術打下了堅實基礎。

1969年，響應國家“三線”建設號召，按照14所“成建製分遷”方式新建雷達研究基地的部署，王小謨投身到了深藏在黔西南大山中的第38研究所的草創中，住在四麵透風的油氈茅棚裏，不僅食物匱乏，甚至連吃水都有困難，以王小謨為代表的一批科研人員就在這樣的艱苦條件下，開啟了篳路藍縷、披荊斬棘的創業時代。

1969年12月底，王小謨被任命為38所總體室的臨時負責人；1972年，王小謨被任命為國產第一部三坐標雷達——383的總設計師，13年磨一劍，克服地處“三線”、科研條件和生活條件都極端閉塞和艱苦的不利條件，於1984年4月完成設計定型。383雷達的研製成功，不僅填補了國產三坐標雷達的裝備空白，也使得三坐標雷達成為我國雷達設計研製的一個新領域，更對實現我國國土防空網從概略引導向精確引導的轉變，作出了重大貢獻。1985年，383雷達項目榮獲國家科學技術進步一等獎。1987年，王小謨作為全國14名有突出貢獻的中青年科學家之一，受到鄧小平同誌的親切接見。