Alles wat nog is overgebleven van kasteel Groenesteyn, dat in de 19e eeuw vlak aan het water stond, is een merkwaardig poortje op een brug over de Wetering. De stichter van Groenesteyn was vermoedelijk Willem de Ridder van Groenesteyn. Het goed bleef vanaf het midden van de 15e eeuw vele generaties in de familie tot in 1730, toen één van de nazaten kamerheer werd van de Keurvorst van Mainz en daarom in Duitsland ging wonen en het kasteeltje verkocht.
Door vereving kwam het goed in het bezit van de graaf Van Lynden van Sandenburg, indertijd Commissaris der Koningin, die op het kasteel Sandenburg woonde. De laatste bewoonster was Anna Wilhelmina Barones van Lynden die in 1847 overleed. Het kasteel raakte daarna in verval en werd in 1862 gesloopt.
Toen de Commissaris van de Koningin afscheid nam als Commissaris, heeft de Utrechtse Kastelenstichting het poortje laten restaureren. Boven de ingang zien we de 18e eeuwse wapensteen met het wapen van De Ridder. Het bovenste gedeelte van het poortgebouw deed dienst als duiventil.
Dat poortje heeft voor de bewoners van de Langbroekerdijk altijd een bijzondere betekenis gehad, door het eraan verbonden spookverhaal.
Vroeger, toen het kasteel nog in volle glorie aan de Wetering stond, werden ’s avonds om 10 uur de deuren in het poortje afgesloten. Men zegt, dat eens op een warme zomernacht, twee meisjes uit het kasteel het poortje hebben geopend en naar buiten zijn geglipt om langs het water te spelen. Door een noodlottig ongeval, waarvan niemand de oorzaak kent, zijn ze te water geraakt en verdronken. Sindsdien deed zich het merkwaardige verschijnsel voor, dat op warme zomeravonden de poort vanzelf open ging en twee schimmen doorliet, die daarna geruime tijd langs de waterkant in het gras werden gezien. Toch waren ’s morgens, als de poortwachter naar buiten kwam, de deuren weer gesloten. En de bewoners van de omliggende boerderijen bezwoeren, dat ze de meisjes die nacht langs het water hadden gezien. De deuren zijn na de restauratie niet meer aangebracht.