Виктор Милованов родился 17 августа 1955 года в городе Мичуринск Тамбовской области. Окончил среднюю общеобразовательную школу. Служил в ВВС группы Советских войск в Германии. Окончил факультет промышленно-гражданского строительства Тульского политехнического института по специальности «инженер-строитель». Трудовую карьеру начинал на Тульском оружейном заводе, затем работал в коммерческих структурах. Трудился в управляющих и жилищно-коммунальных организациях Тульской области.
До назначения на пост генерального директора управляющей компании ЗАО «Градсервис» работал в МУП «Спецавтохозяйство».
