Алексей Харламов родился в многодетной семье крепостного крестьянина. Он был седьмым ребёнком. Вскоре после его рождения хозяева решили продать его родителей другой помещице, оставив при этом детей себе. Маленькому Алеше повезло — из-за младенческого возраста он не мог быть отлучен от матери и потому был продан вместе с родителями. В 1850 году родители Алексея вместе с ним и ещё двумя младшими детьми получили свободу. Вскоре семья переехала в Санкт-Петербург.
В 1869 году Алексей Харламов в числе лучших выпускников Академии получает право на пенсионную поездку за границу. Алексей Алексеевич много путешествует по Европе: посещает художественные музеи Германии, Великобритании, Франции, Испании, Италии, Швейцарии, Бельгии, Голландии. Некоторое время живёт в Париже. В 1871—1872 годах по заказу музея Петербургской Академии художеств он делает во дворце Маурицхейс в Гааге копию картины Рембрандта «Урок анатомии доктора Тульпа». За эту работу он получил звание академика.
В 1872 же году Харламов вступает в Товарищество передвижных художественных выставок. Впоследствии художник будет регулярно посылать свои картины на ежегодные выставки передвижников в Санкт-Петербург. В конце 1875 года после окончания срока пенсионерства Харламов приехал в Россию, однако уже осенью следующего года он навсегда возвращается во Францию. Главной причиной эмиграции Харламова было то, что Алексей Алексеевич, как писал другой художник, Илья Ефимович Репин, «ужасно любит Париж» и желал бы там остаться навсегда.
По возвращении в Париж Харламов снимает мастерскую в доме на Пляс Пигаль и превращает её в модное ателье. Позднее Харламов купил дом в Веле. Этот город был любим художником. В дар городку он передал многие свои работы. В Веле же Алексей Алексеевич познакомился с юной Фанни Шютц (Фелией Литвин), ставшей впоследствии знаменитой певицей. Их дружба будет продолжаться вплоть до смерти художника.
