通過多年的顛沛流離，廖乾五廣泛接觸了勞苦大眾，體會到了社會的弊端和不平，又經過較長時間的學習和思索，在擁護孫中山的三民主義的基礎上，更加堅信只有馬克思主義才能拯救災難深重的中華民族。
1921年8月，他經共產黨人包惠僧、李漢俊介紹，同施洋等人參加了武漢馬克思主義學說研究會，接受其學說，成為一名馬克思主義者。次年，經董必武、陳潭秋介紹，廖乾五在武漢加入了誕生不久的中國共產黨。他經常到工人、店員、學生中去宣傳、組織活動，并將《資本論》、《馬克思學說》等書籍送給路過武漢的平利同鄉嚴鑾坡，殷切希望馬克思主義能在家鄉傳播。
1923年2月1日，京漢鐵路總工會在鄭州召開成立大會，宣布成立總工會，廖乾五同項英、陳潭秋、施洋、許白昊、李之龍等共產黨員領導了江漢口岸鐵路工人的罷工斗爭。2月7日，1萬余工人舉行聲勢浩大的集會游行，并沖進租界示威。吳佩孚在帝國主義唆使下，派軍警包圍江岸分會，悍然向工人糾察隊開槍，當場打死36人，傷200余人，被抓捕100余人，江岸分會委員長林祥謙和京漢鐵路總工會法律顧問施洋慘遭殺害，造成震驚中外的“二七慘案”。廖乾五在敵人瘋狂屠殺時僥幸跑出，和項英一起坐小船到漢口，回到了法租界長清里熊晉槐的家中。他們在這里建立了鐵路工會秘密聯絡處，做遇難被捕工人的善后工作。
12月30日，根據中共中央三屆一中全會關于“必須幫助國民黨擴大組織，在國民黨有組織的地方改組其組織，沒有組織的地方我黨為之創設”的指示精神，廖乾五同項英、劉芬等人在漢口成立了國民黨漢口市黨部籌備處，廖乾五任副主任。
1924年1月，中國國民黨第一次全國代表大會在廣州召開。廖乾五、李立三以漢口特別區選派的代表，參加了這次大會。大會閉幕后，廖乾五回到漢口，積極協助林伯渠建立國民黨漢口執行部，并代理宣傳部工作。
4月，中共中央決定撤銷武漢地委，設立漢口、武昌地方執行委員會，由中共中央直接指導。改選后的中共漢口地方執行委員會委員長為包惠僧，委員有廖乾五等，成為武漢地區中共黨組織的建立和開展國民革命的主要成員之一。
5月13日，設在漢口德潤里23號的漢口地委機關遭敵破壞，包惠僧適逢到上海參加黨的會議未返，廖乾五、項英外出工作，得以幸免。由于3人都在反動當局明令通緝之列，在武漢已無法立足，中央決定項英在上海負責全國工人運動，派廖乾五、包惠僧到廣州參加軍事工作。
