Риммер присоединился к «Астон Вилле» в 1977 году и провёл в клубе семь лет. Он был основным вратарём команды в сезоне 1980/81, когда «Вилла» выиграла чемпионский титул.
В 1982 году Риммер вышел в стартовом составе финала Кубка европейских чемпионов против «Баварии», который «Астон Вилла» выиграла со счётом 1:0. Однако уже на девятой минуте он получил травму шеи и был заменён Найджелом Спинком.
Ранее, в 1968 году, Риммер находился на скамейке запасных, когда «Манчестер Юнайтед» обыграл «Бенфику» и завоевал Кубок европейских чемпионов. За свою карьеру он провёл 229 матчей в лиге за клуб из Мидлендса, а также выступал за «Суонси Сити» и «Арсенал». В сезоне 1974/75 он был признан игроком года в «Арсенале».
