Został przesiedlony do powojennej Polski w 1958 roku w ramach ostatniej fali masowych wysiedleń Polaków z Kresów Wschodnich. Rodzina Wydrzyckich zdecydowała się ostatecznie na repatriację, by Niemen uniknął powołania do Armii Radzieckiej. Rodzina rok spędziła w obozie dla repatriantów w Drawsku Pomorskim, a następnie zamieszkała w Świebodzinie, Białogardzie i ostatecznie Kołobrzegu, a Czesław znalazł się w Gdańsku, gdzie rozpoczął naukę w średniej szkole muzycznej, w klasie fagotu. Równocześnie występował w studenckich teatrach, kabaretach i klubie Żak w Gdańsku, śpiewając po hiszpańsku i polsku piosenki latynoamerykańskie, akompaniując sobie na gitarze. Dwie z tych piosenek pojawiły się potem na jego pierwszej płycie[potrzebny przypis]. Jednocześnie zarabiał, pracując dorywczo w porcie lub strojąc fortepiany. W tym okresie poznał i zaprzyjaźnił się z Helmutem Nadolskim.

W 1960 r. urodziła się jego córka Maria. Wraz z rodziną mieszkał wówczas w Sopocie. Z pierwszą żoną rozwiódł się w 1971 r.