1980년대로 접어들면서 래퍼로 입문했다. 1993년에 [Represent] 앨범으로 정식 데뷔하였으며 싱글 "Flow Joe"가 빌보드 싱글 차트 1위를 차지하면서 주목을 받았다. 케이알에스-원(KRS-One), 디제이 프리미어(DJ Premier), 레스(LES), 도밍고(Domingo) 등 스타 뮤지션들이 참여하여 완성한 1995년 두 번째 앨범 [Jealous One"s Envy]로 유명세를 타기 시작한 그는 1990년대 후반 "Fat Joe"s Halftime"과 "FJ560"이라는 두 개의 옷가게와 이발소를 오픈하면서 음악 외적인 사업에도 눈을 돌리기도 했다. 1998년에 아틀랜틱과 계약하면서 [Jealous One"s Envy]를 재 발매했고, 친구인 빅 퍼니셔(Big Punisher)와 함께 큐번 링크(Cuban Link), 아마겟돈(Armageddon), 트리플 세이스(Triple Seis), 프로스펙트(Prospect) 등 일련의 라인업을 완성하며 테러 스쿼드(Terror Squad)를 결성, "Whatcha Gonna Do"라는 히트송을 만들어내기도...