Né Alexander Thompson MacKaye en Écosse. Apprenti chez un fabricant d'outils de reliure. Il se rend à Londres en 1850 et travaille pour John Skirving, expert en poinçonnage, où il taille des caractères pour d'importants fondeurs de caractères anglais, tels que Henry Caslon, Vincent Figgins et la société Stephenson Blake. En 1854, il accepte l'offre d'un poste à plein temps chez L. Johnson & Co. à Philadelphie, où il change son nom de famille de MacKaye à Kay. Il reste chez L. Johnson & Co. (plus tard Binny & Ronaldson, puis MacKellar, Smith & Jordan) pendant 40 ans, jusqu'à ce qu'il perde une grande partie de sa vue à cause de la cataracte. Il a également passé plusieurs années à graver des matrices pour la frappe de pièces de monnaie à la Monnaie de Philadelphie. Parmi les nombreuses faces romaines qu'Alexander Kay a conçues et taillées à Philadelphie, les plus célèbres sont Binny Old Style et Ronaldson Old Style.