Tout ce qui reste du château de Foss, c'est une colline imposante qui faisait autrefois partie d'un château motte et bailey. La motte est une élévation circulaire artificielle et la bailey serait les enceintes attenantes. Bien qu'entouré par les bois aujourd'hui, lorsque le château a été construit à l'origine dans les années 1070, il serait été situé dans un paysage plus ouvert.

On pense que les terrassements se sont développés en plusieurs phases, la région ayant des liens anglo-saxons de longue date et l'église voisine possédant des pierres tombales en forme de « dos de porc » datant des VIIIe-Xe siècles.

Le château a été construit peu de temps après la conquête normande par Nigel Fossard, un propriétaire terrien possédant de vastes domaines et plusieurs autres châteaux dans le Yorkshire. Après la mort de Fossard en 1091, le château est passé entre les mains de plusieurs générations de la famille. On sait peu de choses sur le château à cette époque, mais il y a des documents datant de 1133 mentionnant le "Castrum de Mulgreit" (château de Mulgrave), antérieur à la construction du vieux château de Mulgrave, qui a eu lieu plus tard vers la côte.

La motte principale, ou motte, faisait plus de 50 mètres de diamètre et mesurait cinq mètres de haut, entourée d'un fossé profond. Les structures auraient été initialement construites en bois, mais auraient peut-être été remplacées plus tard par des bâtiments en pierre. Le sommet aplati de la motte présente une petite élévation circulaire sur le côté nord-est, qui est supposée être l'emplacement d'une tour.

Il y avait deux baileys, dont l'un est une grande plateforme en forme de fer à cheval au sud-est de la motte, et une petite enceinte triangulaire au nord-ouest. Ces enceintes auraient été couronnées de palissades élevées.

Du côté sud se trouve le profond gouffre de Sandsend Beck, ce qui signifie qu'aucune défense n'aurait été nécessaire à cet endroit.

On pense qu'il y avait autrefois une colonie anglo-saxonne encore plus ancienne au nord de la motte.