Джеймс начал работать еще будучи учеником средней школе: рыл могилы на кладбище, был уборщиком, киномехаником, пахал землю на тракторе, работал на сенодробилке, дорожным рабочим, собирал овощи и фрукты. В 1971 году закончил университет Монтаны по специальности журналистика.
Грейди начал сочинять рано: в 5 лет он диктовал маме свои рассказы. В школе написал пьесу, которую сыграли его одноклассники по случаю окончания школы. Однако, никто не хотел публиковать рассказы и стихи, которые он посылал в различные журналы.
В 1971 году ему повезло найти работу секретаря в Конституционном Совете штата Монтана. Через год Грейди стал аналитиком по подростковой преступности, в 1974-ом поехал в Вашингтон работать помощником сенатора-демократа из Монтаны. Здесь он был свидетелем импичмента Ричарда Никсона.
Никсон покинул Вашингтон, а Грейди остался, получив шанс 4 года заниматься репортерскими расследованиями для известного журналиста Джека Андерсона. Интересы Грейди как репортера были весьма широкими: политика, криминал, наркотики, шпионаж. За 4 года он получил обширные знания в этих областях, собрал материал для своих будущих книг и здесь же познакомился с частным детективом Бонни Голдстейн, которая вскоре стала его женой.
Грейди оставил работу у Андерсона, решив сосредоточиться на литературном творчестве. Хотя он написал более десятка романов и несколько рассказов, мировую известность ему принесли шпионские триллеры  „Шесть дней Кондора” и „Тень Кондора”, которые стали бестселлерами. В 1975 году на основе первого романа голливудский режиссер Сидней Поллак снял фильм Three Days of the Condor, в котором сыграли такие известные актеры, как Фей Даноуэй, Роберт Редфорд и Макс фон Сюдов. „Жанр шпионского романа привлек меня потому, что я знал кое-что о шпионаже, потому, что истории этого типа занимательны и, когда их рассказывают так, как надо, содержат в себе все элементы хорошей истории”.
Джеймс Грейди был номинирован на награду „Эдгар”, получил французскую Grand Prix Du Roman Noir в 2001 году и итальянскую имени Раймонда Чандлера в 2003.
В настоящее время писатель живет с женой в тихом пригороде Вашингтона и, если не занимается каким-нибудь голливудским проектом, то работает дома. По признанию самого Грейди, он любит изучать Тай-чи, плавать, читать, слушать прогрессивный рок-н-ролл, ходить в кино.