Cresciuto nel settore giovanile del Sunderland, ha esordito in prima squadra il 10 novembre 2020, nella partita di Football League Trophy persa per 2-1 contro il Fleetwood Town.[2][3] Il 17 giugno 2021 firma un biennale con i Black Cats,[4] venendo poi ceduto a titolo temporaneo al Notts County nel mese di settembre.[5][6] Il prestito, inizialmente mensile, viene rinnovato fino al gennaio del 2022,[7][8][9] quando Patterson fa definitivamente ritorno al Sunderland,[10] con cui si impone ben presto come titolare nel ruolo. Dopo aver conquistato la promozione in Football League Championship,[11] il 24 giugno 2022 prolunga con i biancorossi fino al 2026.[12] Il 22 settembre 2023 rinnova fino al 2028.[13] Il 1º febbraio 2026 viene ceduto in prestito al Millwall, in Football League Championship.[14][15]