陈仪在俞大维的协助下，经过几度的参观和研究讨论，和德国的军火商人签订了几宗军火交易。依照国外军火商人的规矩，凡是购买军火的都有百分之五的“回扣”。中国从清末的李鸿章开始，也都收受回扣。
陈仪平生以廉洁自持，当时他拒绝收受回扣。可是俞大维却向陈仪建议：如果拒绝“回扣”，白白便宜了德国的军火商人，不如收了“回扣”，上交国家，这样于个人的清廉操守无损，而国家也有实利可得。
结果陈仪采纳了俞大维的建议。陈仪回国后就把这项回扣上交，很为蒋介石嘉许，任命陈仪为军政部常务次长。这时候军政部长是冯玉祥。
俞大维于一九三二年回国，初时任国民政府参谋部主任秘书。这时陈仪是以军政部常务次长兼任兵工署署长，他赏识俞大维的才干，又是弹道学专家，所以向蒋介石保荐。在一九三三年俞大维就出任兵工署署长。
俞大维担任兵工署署长十二年之久，在他任内对所属兵工厂竭力整顿，如购置新式机器，调整人事，改进沈阳兵工厂、汉阳兵工厂等，都是为当时所称道的。
谈及这十二年的兵工署署长生涯，俞大维自己开玩笑说他是在“打铁”。八年抗战，俞大维最为自豪的，是军火供应基本充足，无人抱怨“弹药没有了”。当然，这是指轻武器的弹药，那时的中国不能生产重武器。
抗战期间，他还亲自到重庆的兵工学校讲授弹道学，每三个月必定率有关人员至靶场验查武器性能。
一九四六年五月，俞大维接任“交通部长”。一九四八年十一月在淮海战役中（台方称为徐蚌会战），一次，俞大维奉命向徐州、蚌埠一带的军队空投粮食。
下午时分，蒋介石来电询问，粮食是否投到？
俞答：投到了。蒋追问：你怎么肯定投到了？又怎么知道得这么清楚？俞大维补充：是我亲自坐运输机去空投的。
在俞大维看来，前方战士在天寒地冻又严重缺粮的困境中，决不能敷衍了事。因此，部长本人，亲自出马。
俞大维的回答，让蒋深感宽慰，也对俞大维越发信任。
一九五四年，蒋介石任命俞大维为国防部长。军队都讲究出身，黄埔系排头名，保定军校也尾随其后。而俞大维既非国民党员，又不是根正苗红的黄埔系，当上国防部长，实在罕见。
在其位，谋其政，俞大维上任的第一天，讲了五分钟的话，就搭乘军舰，到金门、马祖、大陈巡视。在职期间，俞部长去大陈、马祖、金门各岛一百三十余多次，平均每两周去一次，人称国防部长的办公室在金门。
俞大维的信条是己所不欲，勿施于人，自己不能去的地方，怎么能派自己的部下去呢？一次为上高登岛，他被吊车吊上悬崖峭壁。
作为部长，他的目标就是：最精良的部队在前线，最新的装备在前线，最好的医生在前线。他目睹战壕积水，士兵受潮湿之苦。就把市场上合用木板买光，连夜运阵地，在壕底铺上木板。
俞大维深知，作为前方将士，生命随时终结，于是，他的信念是：一切享受归前线。因此，电唱机、冰箱、电视机、洗衣机、沙发等，源源运往前线。士兵希望有香烟，他就为他们争取到每人每个月五包免费香烟。