Ngày 29/9/1954, Tỉnh ủy Phú Yên triệu tập cuộc họp bí mật tại xã An Lĩnh (huyện Tuy An). Hội nghị đã nhận định: địch ngoan cố không thi hành Hiệp định Giơ-ne-vơ, dùng mọi hành động dã man và cực kỳ phản động hiếu chiến, để phá hoại những điều khoản hiệp định đã được ký kết. Trong khi đó, ta có tư tưởng chủ quan tin tưởng vào hiệp định, không thấy hết bản chất phản động hiếu chiến của địch. Để đối phó sự khủng bố ác liệt của kẻ thù, Tỉnh ủy chủ trương đẩy mạnh hoạt động công tác dân vận, theo phương châm: “Bí mật, thận trọng, khéo che giấu, khéo hoạt động”.
Ở miền núi vùng đồng bào dân tộc ít người, cơ sở đảng chưa bị xáo trộn; xã nào cũng còn chi bộ đảng hoặc cơ sở đảng cán bộ của Đảng được phân công nằm vùng bám sát quần chúng, bám phong trào, gắn bó với các già làng, tổ chức hoạt động bất hợp pháp. Các đồng chí Cao Xuân Thiêm (nhà thơ Văn Công), Võ Mông, Ma Noa được phân công nằm vùng bám trụ ở vùng Thồ Lồ - Phú Mỡ, bám rễ giữa lòng dân hoạt động bất hợp pháp, xây dựng căn cứ của Tỉnh ủy Phú Yên trong những ngày đen tối nhất của cách mạng miền Nam. Muốn bám được dân, muốn giữ vững địa bàn hoạt động lâu dài thì phải có phong trào quần chúng đấu tranh. Muốn có phong trào đấu tranh trực diện với địch phải có cơ sở làm nòng cốt, làm chỗ dựa, làm cầu nối giữa Đảng và quần chúng. Cán bộ nằm vùng phải tìm ra những hạt giống đỏ vào thời điểm ấy vô cùng khó khăn gian khổ. Chỉ cần một chút sơ hở thì chẳng những bản thân và gia đình cơ sở bị tù tội, chém giết mà cả buôn làng, thôn xóm cũng bị triệt hạ. Muốn sử dụng cơ sở vào bất cứ công việc gì đều phải điều tra phân loại, nắm chắc tư tưởng, thái độ, hành động quan hệ xã hội, giao việc giản đơn để thử thách, tập dợt, rèn luyện hết sức công phu.
Kẻ địch cũng bám chặt luồn sâu, bằng mọi thủ đoạn nắm cho được các già làng, mua chuộc đi đôi với khủng bố, dồn dân, cố cắt đứt quan hệ giữa Đảng với quần chúng, giữa đồng bằng với miền núi. Những vùng có phong trào đấu tranh mạnh như Thồ Lồ - Phú Mỡ, Cà Lúi, Phước Tân… địch hành quân đánh phá liên tục. Địch vào làng thì cán bộ, đảng viên, nam nữ thanh niên ra rẫy, địch rút, quần chúng trở về làng. Trong cảnh dầu sôi lửa bỏng, bà con dân tộc vẫn tìm mọi cách tiếp tế lương thực, thực phẩm, nắm tình hình địch cung cấp cho Tỉnh ủy bí mật kịp thời lãnh đạo các phong trào đấu tranh. Những tấm gương hy sinh như Ma Oai, Y Bá, Ma Rê… đã trở thành bất tử. Bị sa vào tay giặc, họ vẫn hiên ngang, bất khuất chửi vào mặt kẻ thù và anh dũng hy sinh. Đồng bào xã Phước Tân, Phú Mỡ, Đá Mài, Cà Lúi lớn lên trong bão táp cách mạng, dám đấu tranh sống chết với quân thù, bám rừng bám rẫy, không chịu dồn dân, kiên cường bám trụ làm chỗ dựa vững chắc cho cơ quan đầu não của Tỉnh ủy.
Cán bộ bên trong luôn giữ mối liên hệ chặt chẽ với cán bộ bất hợp pháp, giữ được hành động hợp pháp và nửa hợp pháp, thực hiện tốt chính sách dân tộc của Đảng nên được quần chúng tin yêu che chở. Ta đã vận động đồng bào dân tộc sử dụng các tập quán đào hầm, gài măng cung dây chuyền chống thú rừng bảo vệ nương rẫy để ngăn địch đi lùng. Đồng bào miền Tây Phú Yên dùng những thứ vũ khí thô sơ như ná, cung tên tẩm thuốc độc… để chống địch, bảo vệ cán bộ, bảo vệ cuộc sống.
Ở đồng bằng địch ra sức đánh phá, tổ chức cơ sở đảng, cơ sở quần chúng bị tổn thất nặng nề. Chỉ tính từ tháng 9-11/1954, địch điên cuồng trả thù những người kháng chiến cũ, vây bắt thủ tiêu 720 người trong toàn tỉnh. Nhà lao Ngọc Lãng và các nhà lao huyện như Phú Nhuận (Tuy An)… chật ních cán bộ, đảng viên và quần chúng yêu nước.
Cuối tháng 11/1954, theo chỉ thị của Liên khu ủy Khu 5, Tỉnh ủy Phú Yên rút ra Diêu Trì (Bình Định) khẩn trương tổ chức đường dây giao liên để liên lạc với bộ phận Tỉnh ủy được phân công bí mật ở lại nhằm thống nhất sự chỉ đạo trong toàn tỉnh. Đồng chí Hai Tín, tức Đỗ Hòa Thái, Bí thư Huyện ủy Sông Cầu đã móc nối và cử bà Phó Phát (Trần Thị Mẹo) ở Xuân Lộc, Sông Cầu ra chợ Cây Đa ở Lộc Lễ (Diêu Trì) để liên lạc với Tỉnh ủy. Vậy là bà trở thành giao liên của tỉnh. Sau đó, theo sự phân công của đồng chí Võ Xuân Vinh, Tỉnh ủy viên - phụ trách Chánh Văn phòng, bà Phó Phát đóng giả làm người đi buôn bán, vô Phú Lâm gặp một người thợ rèn tên Châu và gặp ông Di ở Đông Tác để nhận thư từ tài liệu của Huyện ủy Tuy Hòa; tới chợ Thủy, chợ Giã ở An Ninh Tây để nhận thư của Huyện ủy Tuy An. Tài liệu thư từ, khi bà giấu trong cái yếm bị, khi thì giấu trong những miếng trầu đã têm. Rủi gặp địch soát xét thì bà ung dung bỏ miếng trầu vô miệng.
Bà Phó Phát chuyển thư cho các cán bộ của Tỉnh ủy dựa vào những dấu chấm trên lá thư, số dấu chấm tương ứng với tên gọi gắn theo thứ của người đó, ví dụ như hai chấm là gửi cho anh Hai, ba chấm thì chuyển cho anh Ba… Thư không có chấm nào thì bà chuyển cho anh Thừa, tức đồng chí Lê Đài, Bí thư Tỉnh ủy Phú Yên.
Trong những ngày đồng chí Hai Tín về Xuân Lộc, bà Phó Phát cùng tổ giao liên (gồm ông Nguyễn Ngàn, bà Hoa và bà Miền) bố trí bảo vệ, lo ăn ở chu đáo. Nhiều cán bộ từ Diêu Trì về Sông Cầu đến tìm bà. Khi đã nhận đúng ám hiệu, bà bố trí cho họ ăn ở hàng chục ngày. Sau khi đồng chí Bảo - một chiến sĩ giao liên bất hợp pháp vừa móc nối liên lạc với các xã, xây dựng cơ sở vừa tự túc kiếm sống giữa rừng sâu để nuôi Huyện ủy - hy sinh anh dũng trong một lần đi công tác, bà Phó Phát lên La Hai theo yêu cầu của cấp trên. Đầu năm 1955, Tỉnh ủy phân công đồng chí Bùi Tân chuẩn bị chỗ ở cho cơ quan Tỉnh ủy bí mật. Tại nhà bà Lý ở chợ Đồng Dài, bà Phó Phát đã nhiều lần gặp đồng chí Bùi Tân để nhận nhiệm vụ.
Có một cán bộ chuyển vùng hoạt động và bị bắt, khai ra bà Phó Phát. Bà bị địch bắt giam ở nhà lao Ngọc Lãng. Sau khi rơi vào tay địch, bà lanh trí, tỏ ra “thành thật” và “khai báo” việc mình “tiếp tế cho cộng sản”. Bà nói với chúng: “Ai khổ thì tui cho ăn. Nấu nồi cơm trên bếp, thấy người ta đói thì tôi bới cho người ta. Vậy thôi hà”.
Đồng chí Bí thư Tỉnh ủy Lê Đài bị bắt trước đó. Địch dẫn đồng chí tới để bà nhận diện, nhưng chúng hoàn toàn thất bại.
Tại cơ quan Tỉnh ủy Phú Yên đóng ở Diêu Trì (Bình Định), một số cán bộ của tỉnh được dự cuộc họp 3 ngày do Khu ủy trực tiếp tổ chức phổ biến tình hình, nhiệm vụ và phương châm, phương pháp hoạt động bí mật, đồng thời chỉnh đốn tổ chức. Trước khi hết thời hạn tập kết Tỉnh ủy phân công một số đồng chí ở lại với nhiệm vụ phát triển cơ sở, tổ chức các chi bộ đảng, lãnh đạo nhân dân đấu tranh đòi dân sinh dân chủ, đòi hiệp thương tổng tuyển cử tự do thống nhất đất nước, đồng thời đưa một số thanh thiếu niên, con em gia đình cách mạng tập kết ra Bắc để học tập, đào tạo cán bộ sau này. Tại TX Tuy Hòa, địch sát hại đồng chí Lê Văn Thành, Chánh án TAND tỉnh trong kháng chiến chống Pháp. Đảng đã phát động gia đình đấu tranh đưa đơn kiện ra Ủy hộ quốc tế đình chiến để góp phần ngăn chặn bàn tay khát máu của Mỹ - Diệm. Kết quả, Ủy hộ quốc tế đã lên án hành động trả thù hèn hạ của Mỹ - ngụy và họ đã tổ chức đưa gia đình đồng chí Lê Văn Thành ra miền Bắc, trong đó có người con gái là Lê Băng Tâm.
Sau khi bắt đồng chí Bí thư Tỉnh ủy Lê Đài, Mỹ - ngụy chuyển đồng chí về giam tại Ty Công an Phú Yên. Đồng chí bị địch tra tấn chết đi sống lại nhưng vẫn kiên cường, không hề hé lộ các đầu mối cơ sở… Sau đó, chúng dùng kế nhốt chung tên Đặng Văn Cảnh, nguyên là bộ đội Tỉnh đội Phú Yên phản bội theo địch vào biệt phòng với đồng chí Lê Đài. Ba ngày, chúng cho tên Đặng Văn Cảnh đi ra ngoài hành dịch, tối về giả vờ chăm sóc đồng chí để tạo lòng tin, để đồng chí viết thư liên lạc cho cơ sở bên ngoài.
Ban cán sự Đảng TX Tuy Hòa được thông báo tin đồng chí Bí thư Tỉnh ủy Lê Đài bị bắt và trên chỉ đạo phải tìm cách giải thoát đồng chí. Khi Đặng Văn Cảnh chuyển thư của đồng chí Lê Đài cho Trần Thị Cháu, chị đã liên lạc với Võ Thị Kim Đính bàn kế hoạch gửi thuốc men cho đồng chí Lê Đài. Thư ra thư vào đều bị Đặng Văn Cảnh trình cho địch trước khi chuyển.
Sau đó, cơ sở đã lập phương án giải thoát cho đồng chí Lê Đài. Theo kế hoạch giờ G hành động là 0 giờ ngày 20/1 rạng ngày 21/1/1956, nhằm ngày mùng 8 tháng Chạp, ngày lễ Phật Thích Ca, tín đồ Phật giáo sẽ đến chùa dự lễ. Số trực gác ở Ty công an về khuya sẽ ngủ say, Đặng Văn Cảnh sẽ mở cửa phòng giam để đồng chí Lê Đài ra cửa ty. Khi đồng chí Lê Đài vượt ra khỏi cửa Ty công an, anh Lê Khánh Nam và chị Đính sẽ khiêng đồng chí đi về phía ngã ba đường Phan Đình Phùng - Tản Đà, anh Trần Châu sẽ chặn hậu. Từ ngã ba này, chị Võ Thị Hồng Giác, anh Nguyễn Tài Soa sẽ khiêng tiếp lên ngã tư Diên Hồng. Từ Diên Hồng, các chị Trần Thị Cháu, Lê Thị Cụt sẽ khiêng tiếp đồng chí Lê Đài lên cầu Ông Chừ. Từ buổi chiều, chị Hà Thị Vận, Hà Thị Lý (cơ sở ở Hòa Trị) sẽ đưa 2 chiếc sõng xuống neo tại cầu Ông Chừ giả làm sõng đánh cá của dân. Khi cơ sở ở thị xã chuyển đồng chí Lê Đài xuống sõng, cơ sở ở Hòa Trị sẽ đưa về bến Lội, rồi từ đó đưa tiếp đồng chí Đài lên núi. Ám hiệu liên lạc là dùng đèn pin 3 màu. Màu trắng là an toàn, màu vàng là chờ đợi và màu đỏ là báo động có nguy hiểm.
Đêm 21/1/1956, đúng 20 giờ, tổ giải thoát đồng chí Lê Đài tập kết tại nhà chị Võ Thị Hồng Giác. Đặng Văn Cảnh cũng đến bàn bạc. Cảnh giả vờ thống nhất so lại 2 đồng hồ của nhau cho khớp. Trong căn buồng ngủ, tổ giải thoát duyệt lại kế hoạch lần cuối. Đặng Văn Cảnh trở về Ty công an và báo cho địch kế hoạch giải thoát của ta, trong lúc tổ giải thoát ém lại chờ giờ xuất phát. 23 giờ 40, giờ hành động đã điểm, tất cả lên đường. Khi anh Lê Khánh Nam và chị Võ Thị Kim Đính vào cửa Ty công an ngụy để đưa đồng chí Lê Đài ra thì bị địch đóng giả đồng chí Lê Đài để bắt các đồng chí của ta. Anh Lê Khánh Nam cùng chị Võ Thị Kim Đính bị địch bắt ngay tại cửa Ty công an.
Kế hoạch giải thoát đồng chí Lê Đài không thành nhưng cũng là một nỗ lực của công tác dân vận. Đảng đã dựa vào quần chúng cách mạng trung kiên để giải thoát người lãnh đạo cao nhất của Đảng bộ Phú Yên.
THÀNH VIỆT