Baker gia nhập Chelsea khi mới 9 tuổi, nhưng anh chỉ chơi được 7 phút cho câu lạc bộ thời niên thiếu của mình, vào năm 2014. Kể từ đó, anh đã được thực hiện các bản hợp đồng cho mượn tại Sheffield Wednesday, Milton Keynes Dons, Vitesse, Middlesbrough, Leeds United, Reading, Fortuna Düsseldorf và Trabzonspor.
Có một tia hy vọng rằng anh có thể được đá chính ở đội 1 trong mùa giải này sau khi được đưa vào đội hình Premier League và Champions League của The Blues. Nhưng một nửa mùa giải gần hoàn thành, Baker thậm chí vẫn chưa xuất hiện trên băng ghế dự bị đội 1, thay vào đó chủ yếu được ra sân ở đội U21. Baker đã có được 3 bàn thắng và 2 đường kiến tạo trong thời gian này.
Nói với The Athletic, Harley không thể đưa ra câu trả lời chắc chắn về lý do tại sao Baker không được tin dùng hơn: "Tôi không nghĩ rằng bất kỳ ai có thể đưa ra câu trả lời thẳng thắn về điều đó. Cậu ấy có những thời gian cho mượn khác nhau và vì bất cứ lý do gì, một số trong số đó đã không diễn ra như cậu ấy dự tính."
"Nhưng tôi muốn nói một điều là cậu ấy đang làm tốt và tâm lý của cậu ấy trong nhóm này giống như một huấn luyện viên trên sân cỏ. Cậu ấy làm việc rất tốt với chúng tôi. Bạn có thể thấy cậu ấy nổi bật. Mỗi trận đấu cậu ấy đều nổi bật."
Giữa cơn bão chấn thương và dịch bệnh ở Chelsea, mới đây Baker đã được gọi lên tập luyện với đội 1.
Siêu phẩm của Chelsea trước Aston Villa: