Отец Брендана работал в Канаде в сфере туристического бизнеса. Будучи ребёнком Брендан вместе с семьёй (у Брендана три старших брата) он долгое время жил в Нидерландах, Швейцарии, Риме, Лондоне и различных городах США. И повзрослев, Брендан охотно путешествует по всему миру.
В 12 лет Брендан принимает участие в спектаклях нескольких лондонских театров. Позднее, в 2001 году он пролжит театральную карьеру в хите лондонского Вест-Энда «Кошка на раскалённой крыше» Теннесси Уильямса.
Обучение театральному мастерству Брендан Фрейзер получал в Торонто и Сиэттле.
Брендан начинают свою деятельность в кино с 1991 г. Сначала ему выпадают роли в простеньких комедиях, как, например «Пустые головы». Первой ласточкой Фрейзера стала главная роль в пародии на «Тарзана» «Джорджа, который вышел из джунглей» и роль Ричарда О’Коннелла в фильме «Мумия». Снимаясь в 1997 году вместе с Иэном Маккелленом (Ian McKellen) в биографическом фильме «Боги и монстры» о жизни режиссёра триллеров Джеймса Уэйла (James Whale), Фрейзер доказывает, что драматические роли ему также близки. В 2002 году Брендан играет вторую главную роль в экранизации романа Грэма Грина «Тихий американец» с участием Майкла Кейна (Michael Caine), что в последствии обратило его творчество к серьёзным и глубоким ролям.
В сентябре 1998 году Фрейзер женился на своей давней подруге актрисе Афтон Смит. На данный момент у них трое сыновей - Гриффин Артур, Холден Флетчер и Леланд. Жена Фрейзера старше его ровно на один год. В декабре 2007 году супруги возвестили мир о разрыве своих длительных отношений.
Фрейзер имеет двойное гражданство Канады и США, он немножко говорит на французском языке. Также Брендан увлекается фотографией.