总军作为日本在第二次世界大战中部队的最高编制，其司令官一般为大将军衔，下辖若干方面军。从1939年至1945年8月日本无条件投降期间，日本军队共设有关东军、中国派遣军、南方军、第1总军、第2总军五大重兵集团。其中关东军负责关外战场，中国派遣军负责关内战场，南方军负责东南亚和太平洋战场，第1和第2总军部署于日本本土，航空总军指挥全部陆军航空兵部队。
关东军
关东军成立于1919年4月12日，解散于1945年8月15日，因关东州而得名。在旧日本陆军中，关东军战斗力最强，装备最好，有皇军之花之称。关东军是日本陆军驻扎在中国东北的军队，编有31个步兵师团，11个步兵和坦克旅团，1个敢死队旅团和2个航空军，最高峰时共有120万人。
1898年俄国强行租借中国旅顺和大连湾，租借地划为俄国的一个州——即关东州。日俄战争后依据《朴资茅斯条约》关东州转让日本。1904年日本在辽阳成立关东都督府，都督府内设陆军部。1919年4月实行军政分治，关东都督府改为关东厅，以都督府陆军部为基础组成关东军司令部。关东军所辖部队由本土派遣实行轮值。九一八事变后关东军司令部由旅顺迁沈阳，1932年溥仪政权成立后迁长春，1942年10月升格为总军。1945年5月底第17方面军在北部朝鲜的部队改隶关东军，远东战役发起后关东军依预案将逐步收缩到南满、朝鲜，第17方面军奉命改隶关东军。1937年8月关东军派出混成第2、第15旅团入关内支援中国驻屯军，1938年5月派出混成第3、第13旅团投入徐州会战，1938年指挥诺门坎边境作战。1941年关东军特别演习期间增强到14个师团、兵力74万。1945年8月9日关东军兵力在东北51万、朝鲜29万，辖3个方面军、7个军、2个航空军，总计31个师团、11个独立混成旅团、2个独立战车旅团，但多为新编部队。
1945年8月，一百五十万苏联红军开始向中国东北进军，关东军被击毙八万三千人，被俘五十九万四千人。战后，余下的关东军官兵作为俘虏被苏军押送到西伯利亚从事强制劳动，一共有六万多人死在那里。另有数百名被中共军队俘虏的关东军战俘加入解放军，参加了解放战争。
历任司令官
立花小一郎中将（1919年-1921年）
河合操中将（1921年-1922年）
尾野実信中将（1922年-1923年）
白川义则中将（1923年-1926年）
武藤信义大将（1926年-1927年）
村冈长太郎中将（1927年-1929年）皇姑屯事件
畑英太郎中将（1929年-1930年）
菱刈隆中将（1930年-1931年）
本庄繁中将（1931年-1932年）九一八事变
武藤信义大将（1932年-1933年）日本承认“满洲国”
菱刈隆大将（1933年-1934年）“满洲帝国”成立
南次郎大将（1934年-1936年）
植田谦吉大将（1936年-1939年）七七事变
梅津美治郎大将（1939年-1944年）关东军升格为总军
山田乙三大将（1944年-1945年）日本投降时任总司令官，后被苏联红军押到伯力审判。
中国派遣军
1939年日军大本营发布大陆令362号组建中国派遣军，按照战区又划分为华北方面军、华南方面军、华中方面军等。日本投降时辖2个方面军、9个军，总计26个师团、1个战车师团、1个飞行师团、22个独立混成旅团、1个骑兵旅团、13个独立警备队、香港防卫队，官兵105万。
1939年9月12日编成于金陵，同时撤销同城的华中派遣军、新建第13军并由中国派遣军总司令兼任第13军司令月余，指挥华北方面军、广州第21军、原华中派遣军部队。中国派遣军与关东军在关外以热河省为界。热河省在九一八事变后被日军侵占并归入溥仪政权管辖范围，1940年8月关东军在承德组建第9独立守备队驻防。日军大本营特别规定若有作战需要中国派遣军可向热河省派遣部队。原直属大本营的蒙疆驻屯兵团担任察哈尔省、绥远省、内长城以北的山西省作战，后蒙疆驻屯兵团改编为蒙疆驻屯军并隶属华北方面军，这一部分也就成为中国派遣军的作战地域。战争末期日军大本营改定关东军与中国派遣军的作战分界是“山海关－大城子－达里诺尔湖东端－右古吉尔庙”，则热河省包括承德在内的西南部分归中国派遣军。
1945年，随着美军进攻日本本土、苏联出兵中国东北等，中国军队亦开始对日军发动总反攻。同年9月9日，中国派遣军总司令官冈村宁次在南京向国民政府递交降书，中国获得抗日战争的最终胜利。次日冈村宁次遵命宣布取消中国派遣军。
历任司令官
西尾寿造：1939年9月12日～1941年3月1日
畑俊六：1941年3月1日～1944年11月23日
冈村宁次：1944年11月23日～945年9月10日
南方军
1941年11月5日，日本天皇批准了"南方综合作战计划"。次日，日军大本营即发布南方作战部队战斗序列，正式成立南方军，前军事参议官资深大将寺内寿一伯爵被特命为总司令官。
南方军下属第一方面军缅甸方面军成立于1943年，驻地先后在西贡、新加坡、马尼拉、西贡、大叻。1942年8月-1944年10月设军政总监部。日军侵占南洋的战略目标之一是攫取石油资源，南方军总司令部设有燃料本部，以中将任部长，在苏门答腊、爪哇、婆罗洲、缅甸等处设燃料工厂。南方军作战地域包括东南亚大陆、印度洋安达曼群岛、荷属东印度群岛、东部新几内亚、菲律宾，日本投降时辖4个方面军、12个军、1个航空军，总计有38个师团、1个战车师团、22个独立混成旅团、1个海上机动旅团，共有约74万。
南方军并不完全是一支新军，很多部队都是是抽调其它战区的精锐兵团。来自中国派遣军的部队大多数已有4年的实战经验，特别是第5师团，擅长登陆动作，抗日战争以来转战各地，历经百役。原属关东军的第5飞行集团，参加过苏日诺门坎空战。在南方军编内还破天荒地集结了9个坦克联队，日军总共才15个坦克联队。高级指挥官寺内寿一、山下奉文、今村均、本间雅晴等都是日军大本营倚重的骁将，自侵华战争以来已积累下指挥大兵团作战的丰富经验。寺内寿一出身世家，其父是日本著名首相，元帅寺内正毅。寺内寿一本人也曾担任过陆军大臣等要职，在日军现役大将中，他和陆相杉山元、关东军司令官植田谦吉并称为“陆军三最峰"。山下奉文则素以胆大凶悍著称，曾任关东军防卫司令官，又刚从德国、意大利考察坦克新战术归来，正欲施展一番。后来，他在马来战役中进军神速，作战得力，因而获得"马来之虎"的绰号。
1945年8月15日，日本天皇宣布接受"波茨坦"公告，向反法西斯联盟投降。在收听"玉音"广播后，南方军总司令部明确表示要"承诏必谨，誓安圣虑",随即命令各部停止作战，准备与盟军接洽投降事宜。1945年9月12日，板垣征四郎大将代表南方军，在新加坡签订降书。按照盟军的命令，北纬16度以北的第38军向中国国民党军队投降，菲律宾的第14方面军残部向美军投降，其余地区约50万人向英军投降。
第1总军和第2总军
1941年7月7日成立防卫总司令部，历任总司令山田乙三、东久弥宫稔彦王，辖东部军、中部军、西部军、北部军，1943年2月北部军改为北方军直属大本营，1945年1月东部军、中部军、西部军改制为军管区，又新成立东北、东海军管区。4月7日成立第1、第2总军，同时撤销防卫总司令部，各军管区由方面军司令部兼任。
第1总军司令杉山元元帅，须藤荣之助中将任参谋长，负责日本东部区即名古屋以东至津轻海峡的防御作战任务，驻东京。指挥在仙台的日军第十一方面军的6个师团又两个旅团，在东京的日军第十二方面军的22个师团又13个旅团，在名古屋的日军第十三方面军的7个师团又4个旅团。
第2总军司令畑俊六元帅，冈崎清三朗中将为参谋长，负责日本西部地区即名古屋以西至九州的防御作战任务，其司令部设在广岛。下辖第十五方面军（司令官内山英太郎大将，驻大阪）的9个师团又3个旅团；第十六方面军（司令官横山勇中将，驻福冈）的15个师团又11个旅团。
航空总军
1945年4月8日由日军大本营下达命令组建航空总军，负责指挥全部陆军航空兵部队。其司令部设在东京，司令官为河边正三大将，参谋长为田副登中将，指挥着在东京的第一航空军、在长春的第二航空军、在汉城的第五航空军、在南京的第十三飞行师团、在福冈的第六航空军及直属航空总军的3个飞行师团和2个飞行集团。