Ο Χίτλερ κερδίζει τον πόλεμο και η σημαία με τη σβάστικα κυματίζει ψηλά σε όλες τις Ευρωπαϊκές πρωτεύουσες, αλλά και στις Δυτικές Πολιτείες της Αμερικής. Οι πολιτείες της Ανατολικής Αμερικής βρίσκονται υπό την Ιαπωνική κυριαρχία και η μόνη ελπίδα του κόσμου είναι μερικές ομάδες επαναστατών που παλεύουν ακόμα για την απελευθέρωση. Η Τζουλιάνα Κρέιν, που έχει μεγαλώσει στον Σαν Φραντσίσκο, με Ιαπωνική κουλτούρα, είναι ικανοποιημένη με τη ζωή της ώσπου η αδελφή της, της δίνει ένα βίντεο πριν πεθάνει που έχει ετοιμάσει «ο άνθρωπος στο ψηλό κάστρο» το οποίο παρουσιάζει πως θα ήταν ο κόσμος εάν οι σύμμαχοι είχαν κερδίσει τον πόλεμο. Ουσιαστικά δηλαδή παρουσιάζει τον κόσμο όπως τον γνωρίζουμε εμείς σήμερα. Ο Τζο, εντάσσεται στο επαναστατικό κίνημα της Νέας Υόρκης και ταξιδεύει δυτικά σε μία μυστική αποστολή με έναν μυστικό προσωπικό του σκοπό. Οι δύο πρωταγωνιστές συναντιούνται και η δράση ξεκινάει.