Происходил из обрусевшего старинного бретонского рода.
Родился с. Разумное Белгородского уезда Курской губернии. Крещён по православному обряду, в связи с чем специальным указом Александра III, в порядке исключения, за православным христианином Доррером сохранён графский титул.
Образование получил в лицее Цесаревича Николая в Москве (1881) и на историко-филологическом факультете Московского университета (1885).
После университета служил по ведомству Министерства внутренних дел (в канцелярии министра).
В 1889-1895 гг. земский начальник в Белгородском уезде Курской губернии.
С 1895 г. – чиновник особых поручений при министре внутренних дел.
В 1890-х гг. опубликовал ряд статей по крестьянскому вопросу в «Сельском вестнике» и «Московских ведомостях».
С 1902 г. – Белгородский уездный предводитель дворянства и гласный губернского земского собрания, действительный статский советник, камергер Высочайшего Двора.
В феврале 1905 г. избран Курским губернским предводителем дворянства.
Именно благодаря контрреволюционной деятельности В.Ф. Доррера и других видных курских правых деятелей (М. Я. Говорухо-Отрока, Н. Е. Маркова, Г. А. Шечкова и др.) Курская губерния получила в годы революции 1905-1906 гг. прозвание "Русская Вандея" (Вандея — символ контрреволюции).
Граф Доррер организовал и возглавил Курскую народную партию порядка (КНПП), которая затем влилась в состав организованного им Союза Русского Народа (СРН).
В 19 октября 1905 г. — возглавил патриотическую манифестацию, в ходе которой на Красной площади Курска владыка Питирим (Окнов) отслужил благодарственный молебен с провозглашением здравицы Государю Императору. В итоге в Курске не случилось никаких революционных выступлений.
В 1907 г. курские монархисты выиграли выборы в Госдуму, а В.Ф. Доррер стал председателем фракции правых в Думе. Избран членом Главного Совета Союза Русского Народа, пользовался большим влиянием в кругах правых. Многие его идеи принимались правыми за основу при решении актуальных вопросов, в частности по дворянскому и еврейскому вопросам.
В.Ф. Доррер первым из губернских предводителей дворянства поднял вопрос об исключении из числа дворянства всех лиц, подписавших «Выборгское воззвание», и в отличие от других дворянских обществ, курское дворянство из своего состава исключило всех дворян, подписавших это воззвание.
В.Ф. Доррер предлагал также и целый ряд мер, призванных решить еврейский вопрос. Осуждая погромы как дело бессмысленное и вредное, он для ослабления еврейского засилья в России предложил принять ряд мер:
первое — нужно "вырвать из рук евреев торговлю";
второе — "лишить евреев возможности при помощи печати систематически растлевать народную душу";
третье, и главное, — нужно добиться того, "чтобы сама власть неуклонно следовала в отношении евреев велениям закона".
Скончался В.Ф. Доррер в Курске после длительной и тяжёлой болезни.
Похоронен в фамильном склепе своего имения в с. Разумное.
Награды: орден Святой Анны 3 степени (1890), орден Святого Станислава 1 степени (1904), орден Святого Владимира 4 степени (1905), серебряная медаль «В память Императора Александра III 1881 - 1894» на Александровской ленте (1896).
Ист: Боиович М.М. Члены Государственной думы (портреты и биографии): Третий созыв... СПб., 1913.