De woontoren Vuylcop is in de 14e eeuw gebouwd. Vermoedelijk rond het jaar 1300, maar zekerheid is hier niet over. De funderingen zouden uit de 13e eeuw kunnen zijn. De toren is gebouwd op een hoger stukje grond (Vuylkoop stroomrug) in de ontginningsgebieden van Tull en ‘t Waal en Schalkwijk.
Vuylcop is een woontoren van 7 bij 10 meter. De rechthoekige toren bestaat uit een bovengrondse kelder, met daarop twee verdiepingen en een zolder onder een zadeldak. Rond de toren is een gracht.
In de loop van de eeuwen veranderde de woontoren van uiterlijk en werd het een kasteel. Er verschenen torens en een toegangsbrug over de gracht. Vuylcop had ook een omgrachte voorburcht, waarop een hofstede en bijgebouwen stonden. Wanneer dit precies gebeurde is onduidelijk, maar in 1538 werd Vuylcop als riddermatig erkend. Een teken dat het een serieus kasteel is.