Тоби Колльер родился в Уортинге 3 января 2004 года.  Он начал свою карьеру в молодежной системе "Брайтона" в команде  до 12 лет. В возрасте 15 лет он дебютировал в составе команды "чаек" до 18 лет. Колльер стал ключевым игроком команды в сезоне 2020-21, поскольку "Брайтон" занял третье место в Южном дивизионе резервной Премьер-лиги и выиграл Кубок Премьер-лиги до 17 лет. Вскоре после своего 17-летия Колльер дебютировал в составе клубной команд до 23 лет, сыграв полный матч против "Тоттенхэма" в январе 2021 года.

В марте 2022 года он присоединился к Академии "Манчестер Юнайтед", подписав с клубом контракт на 3.5 года после того, как месяц находился на просмотре в стане "красных дьяволов". В своем первом сезоне он выступал за клубную команду до 21-го года за которую провел 3 матча в чемпионате и 2 кубковых встречи.

В сезон 2023–24 Колльер был включен в состав основного состава на предсезонный тур команды и был включен в заявку на матч против "Лидса" в Осло, но на поле не вышел. Дебютировал в составе первой команды в игре против "Рексхэма" в Сан- Диего 26 июля 2023 года.   

Провел с основным составвом предсезонную подготовку перед сезоном 2024-25. В июле 2024 подписал новый контракт с клубом до июня 2027. В составе первой команды "Манчестер Юнайтед" дебютировал 10 августа 2024 года в матче Суперкубка против "Манчестер Сити", выйдя на замену на 59-й минуте.