В службе с 1778 г. в лейб-гвардейском Конном полку, откуда выпущен в армию 1 января 1793 г. ротмистром Харьковского легкоконного полка. В 1797 г. был переведен в Смоленский мушкетерский полк, в котором 18 декабря 1800 г. произведен в полковники. В 1794 г. участвовал в боевых действиях против польских конфедератов. В 1799 г. был в Итальянском походе при осаде и взятии крепости Пиццигеттоне и Милана. При переходе через Сен-Готардский перевал был ранен в ногу. 20 декабря 1802 г. с тем же чином переведен в лейб-гвардейский Конный полк. В кампанию 1805 г. находился в Аустерлицком сражении, где был ранен и контужен, а за отличие награжден орденом Св. Георгия 4-го класса 13 ноября "В воздаяние отличного мужества и храбрости, оказанных в сражении 20 ноября при Аустерлице против французских войск, где, будучи эскадронным командиром, вместе с полковником графом Ожаровским, взял у неприятеля знамя 4-го пехотного полка, врубившись в два полка". В 1808 по болезни (к этому времени имел 12 ранений и контузий) в чине генерал-майора уволен в отставку. В 1812 вновь поступил в армию, командовал армейским партизанским отрядом, участвовал в Бородинском сражении, отличился в боях под Красным, где был ранен саблей в голову, а при освобождении Смоленска ранен в левую ногу; во время заграничного похода в 1813 у местечка Люцен "отбил у неприятеля два орудия". 24 февраля 1816 вновь по болезни уволен из армии с мундиром и полным пенсионом. Награды: ордена Св. Георгия 4-го кл., Св. Владимира 3-й ст., Св. Анны 2-й ст. с алмазами, Мальтийский иностранный; крест за Прагу; золотая шпага "за храбрость". Губернатор Тульской губернии в 1816-1818, действительный статский советник. Похоронен на родовом кладбище в селе Владимирское (Иловка) Смоленского уезда. Портрет Е.И. Оленина помещен в Военной галерее 1812 г. в Зимнем дворце (Эрмитаж).