Получив семилетнее образование, Алексей остался работать в личном хозяйстве отца, где к тому времени

имелись ветряная мельница, пасека, большой яблоневый сад.

В 1932 году единоличное хозяйство Громовых было обложено непосильным индивидуальным сельхозналогом.

За неуплату налога имущество семьи было описано и продано. Глава семьи Николай Николаевич и его жена Анна Ивановна были выселены из дома. Две дочери Громовых, Александра и Вера, к тому времени уже были замужем и проживали отдельно от родителей. А.Н.Громов, как «сын кулака», спасаясь от гонений и людской молвы, уехал в соседний Оршанский район, где три года работал в подсобном пункте «Заготзерно».

В 1935 году Алексей уехал в Йошкар-Олу учиться на курсы работников сельских потребительских обществ,

организованные Марийским союзом потребительской кооперации. После окончания курсов А.Н.Громов был назначен заведующим магазином в селе Новый Торъял. В 1937 году за недостачу товаров он был арестован и приговорен к трем годам лишения свободы с отбыванием наказания в исправительно-трудовых лагерях Дальневосточного края (ныне Приморский край). Находясь в лагере, Алексей не знал, что его отец, Николай Николаевич, был репрессирован 8 августа 1937 года, расстрелян, а в 1938 году по неизвестной причине умер брат Александр.