1937年抗戰全面爆發后，隨著世界反法西斯戰爭形勢的發展和中蘇交往交流的不斷增加，中共中央和軍委決定在延安抗大三分校組建俄文隊，培養一部分俄語專業人才。

方案確定后，就在延安和陜甘寧邊區范圍內招生，基本上采取自愿報名和組織選送相結合的方式，吸收渴望學習俄語的知識青年。俄文隊的住址在延安城東門外清涼山東麓的一個小窯洞內。1941年3月，開始接收新生，到了5月初，陸續報到的學員人數逐漸增加到60余人，正式成立俄文隊，進入抗大三分校的編制序列。

1941年6月初，俄文隊正式開課，曾經在蕭三創辦的延安文化俱樂部業余俄語班學習過的學員編為一個班，行政上叫做第一區隊。另一部分學員原來沒有學過俄語，編為一個班級，行政上叫做第二區隊，學員從俄語的字母發音開始，逐漸進入單詞，要求熟讀、牢記、能背誦。這兩個區隊被稱為俄文第一隊。

1941年七八月間，從前方戰斗部隊中抽調回一批具有中學文化程度的連、排級干部，約30多人，到俄文隊學習，編為第三區隊。后中央軍委繼續抽調干部到抗大三分校俄文隊學習，學校決定成立俄文第二隊。

此外，中共中央軍委還在安塞縣籌備成立航空工程學校，準備訓練飛行員和機械士，擬請蘇聯派人來授課，因蘇德戰爭爆發，不可能派人到中國，軍委決定航空工程學校停辦，校長王弼率學員數十人，調到抗大三分校，成立了俄文第三隊。

到1941年10月，上述三個區隊被合并為俄文大隊，學員達300余人。

1941年12月1日，中共中央決定對抗大第三分校進行整編，改名為延安軍事學院，八路軍總司令朱德兼任院長。軍事學院由指揮隊、炮兵隊、參謀隊、俄文隊、工程隊五部分構成，其中俄文隊由抗大三分校的俄文大隊整編而成，工程隊由抗大三分校的原俄文三隊編成。

朱德十分重視俄文隊的工作，明確指示：為了適應抗日戰爭形勢發展的需要，培養的學生要成為通曉俄語，能會話，能實際運用的軍事翻譯人才。為此，他要求在課時安排上，俄文課課時占80%，政治課占20%，保證學員以學習俄語為主。學員們在半年內先后學習了俄文文法、日常生活會話等課，初步打下了俄語學習的基礎。

俄文隊的教學組織分為五個班級，每個班級有學生30人，在行政編制上，一個班級就是一個區隊，所以俄文隊下屬五個區隊，各區隊長由學員擔任，不脫離學習，同時兼管軍事行政與俄語學習事務。

后來又增設了一個女生區隊，共有女生20多名，學習上課時，根據俄語程度，分別參加到其他五個班級（區隊），生活上單獨編在一起，叫做“第六區隊”。

軍事學院的教學工作系統設有俄文科，由教育長直接領導。需要說明的是，俄文隊和俄文科是兩個平行單位，前者主管行政、黨務、軍事工作，后者負責俄語專業的教學工作。

1942年6月，抗大總校從晉東南抗日根據地返回陜甘寧邊區，延安軍事學院的領導機關和抗大總校合并，移居綏德。中央軍委決定把俄文隊留在延安，成立俄文學校。軍委總參謀部的第四局（編譯局）與俄文隊合并，總參四局局長曾涌泉同志擔任俄文學校校長。

1943年4月，中央為了集中力量培養俄語人才將延安大學俄文系也轉到軍委俄文學校。

1944年，美國派了一個軍事觀察組住在延安，鑒于形勢發展的需要，中共中央和軍委決定把俄文學校改名為軍委外國語學校，增加英文專業，培養英語人才。

1945年抗戰勝利后，中央和中央軍委決定將抗大等幾所著名學校從陜北遷至東北，其中包括把延安外國語學校遷至哈爾濱。