Был призван на действительную военную службу 21 октября 1939 года. Военную службу начал в 4-м строительном полку, базировавшемся в г. Комсомолск на Амуре. С началом Великой Отечественной войны был переведён в 81-ю отдельную автотранспортную роту Усть-Сунгарийского Укреплённого Района (УСУР) на границе с Японией. Службу проходил в должности старшего фаражира. Участвовал в войне с Японией с 09.08.1945 года по 03.09.1945 года в составе войск 15-й общевойсковой армии 2-ого Дальневосточного фронта на Сунгарийском направлении. За мужество и героизм награждён медалями: "За отвагу", "За бовые заслуги", "За победу над Японией", "За победу над Германией в Великой Отечественной войне 1941-1945 гг."

Гужевики - с виду незаметные, а как показал опыт ведения боевых действий не только с японцами, незаменимые труженники войны, пользовались уважением среди бойцов Красной Армии. Они напряжённо изо дня в день в условиях войны, с большим риском для жизни, вносили свою долю в общую Победу над врагом.За доставку срочных грузов, боеприпасов, продовольствия в передовые подразделения 15 Армии 2-го Дальневосточного фронта неоднократно получали благодарности и награды.

О войне дедушка рассказывал очень скупо, без деталей, не упоминая о заслугах. С особым чувством вспоминал о том, как бойцы трогательно любили своих лошадей, как тщательно за ними ухаживали, мыли, чистили своих питомцев. Для лошадей были построены даже конские бани. И лошади никогда не подводили своих хозяев. Я понимала, что рассказывая о своих сослуживцах и их подопечных дедушка рассказывал тем самым о себе.  

Характеризуя своего подчинённого в кратком изложении личного подвига и заслуг в наградном листе, при представлении к награде к награде ефрейтора А.И.Коваленко командир 81 отдельной автотранспортной роты 102 УР старший техник лейтенант Шеин П.А. пишет в частности об его отношении к лошадям: "Товарищ Коваленко своих лошадей содержит в постоянной боевой готовности и хорошей упитанности. В этой краткой и лаконичной фразе заключен огромный самоотверженный труд военнослужащего ефрейтора Коваленко А.И. в повседневной воинской службе в условиях войны".