James Grafton Spencer (* 13. September 1844 bei Port Gibson, Claiborne County, Mississippi; † 22. Februar 1926 ebenda) war ein US-amerikanischer Politiker. Zwischen 1895 und 1897 vertrat er den sechsten Wahlbezirk des Bundesstaates Mississippi im US-Repräsentantenhaus.

James Spencer besuchte private Schulen und danach bis 1861 das Oakland College. Während des Bürgerkrieges war er Soldat in der Armee der Konföderierten Staaten. Nach dem Ende des Krieges kehrte er nach Mississippi zurück, wo er in der Landwirtschaft tätig wurde.

Spencer war Mitglied der Demokratischen Partei. Zwischen 1892 und 1894 war er Abgeordneter im Repräsentantenhaus von Mississippi. Bei den Kongresswahlen des Jahres 1894 wurde er im sechsten Distrikt von Mississippi in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1895 die Nachfolge von Charles E. Hooker antrat. Im Kongress absolvierte James Spencer bis zum 3. März 1897 nur eine Legislaturperiode. Nach dem Ende seiner Zeit im Repräsentantenhaus wurde Spencer im Versicherungswesen und auf dem Immobilienmarkt tätig. Politische Ämter hat er nicht mehr bekleidet.

• James G. Spencer im Biographical Directory of the United States Congress (englisch)
• James G. Spencer in der Datenbank Find a Grave