為了盡快將這部分日本僑俘送回國，1945年10月25日，中美雙方在上海召開專門會議，并制定了《中國戰(zhàn)區(qū)日本官兵與僑民遣送歸國計劃》。1946年1月7日，在由中國國民黨代表張群、共產(chǎn)黨代表周恩來，美國代表馬歇爾組成的三人小組會議上，三方?jīng)Q定從1946年4月起，開始全面遣返滯留在中國東北的日本僑俘。1946年1月15日，中美雙方在東京舉行會談，明確了在遣送東北日本僑俘問題上，中國政府和美國政府應(yīng)該分擔(dān)的責(zé)任。中國政府負責(zé)將日本僑俘集中到港灣地區(qū)，直到登上在遼寧省葫蘆島?？康幕貒粸橹?。美國政府負責(zé)調(diào)集日本船舶和美國海軍部分船舶，以及具體航行路線。

國共雙方以及美、蘇兩國代表就遣返日本僑俘達成相關(guān)協(xié)議后，國民政府東北行轅成立了“東北行轅日僑俘管理處”，后又更名為“東北保安司令長官部日僑俘管理處”，委任國民黨207師少將師長李修業(yè)為處長；在解放區(qū)，中共成立了以軍調(diào)部東北三人小組成員李敏然(李立三)為處長的“東北民主聯(lián)軍遣送日人管理處”，分別領(lǐng)導(dǎo)遣返日僑工作。

1946年4月23日，所有滯留中國東北的日本僑俘，陸續(xù)接到中國國民政府及“東北保安司令長官部日僑俘管理處”發(fā)出的“向葫蘆島港集中，統(tǒng)一遣返回國”的命令。1946年5月7日上午，兩艘裝載著2489名日本僑俘的美國輪船駛離葫蘆島港，拉開了大遣返的序幕。

盡管戰(zhàn)后經(jīng)濟困難，中國人民還是調(diào)集極大的人力、物力和財力，完成日僑俘遣返工作。據(jù)統(tǒng)計，1946年5月至8月的遣僑經(jīng)費開支約1.47億元，其中，僅日僑俘伙食費開支一項就達1.25億余元；為解決日僑俘集中待遣期間的吃飯問題，東北人民不顧自己饑荒，籌集糧食上億斤；為供遣返運輸之需，政府調(diào)配火車車皮1.3萬余輛，飛機70余架次，以及大量汽車、馬車及江河渡船；沿途各火車站由地方政府提供生活用品，確保日本僑俘不受饑餓之苦。為了保證日本僑俘身體健康，在錦西設(shè)有臨時醫(yī)院，并且專設(shè)婦產(chǎn)科，以便發(fā)現(xiàn)病人和臨產(chǎn)孕婦能夠及時予以救護。為減少日本僑俘行程中的困難，中方規(guī)定以保持全家人同行為準則，單身日本僑俘自行結(jié)隊；由幾家人組成一個小隊，幾個小隊組成中隊，2500人編成一個大隊，每個大隊設(shè)置指揮班、通訊班，還配備醫(yī)生、護士等協(xié)勤人員。遣返者除必備的身份證和離境證明外，還要佩戴臂章和胸章，標(biāo)明遣返者的姓名，所在的遣返單位，以及原來居留中國時的住址、職業(yè)等等，而且還要接受霍亂和傷寒等傳染性疾病的預(yù)防注射。

1946年8月20日，解放區(qū)的日僑俘也正式開始遣返。到9月下旬，解放區(qū)日本僑俘全部遣返工作結(jié)束，共遣返日本僑俘182222人。

葫蘆島大遣返歷時半年，遣返日本僑俘計達1051047人（包括16607名日軍戰(zhàn)俘）。1946年11月27日，最后一艘載運日本僑俘的輪船“第一大海丸”即將離開葫蘆島港。日僑俘管理處處長李修業(yè)來到船上進行禮節(jié)性的送行。李修業(yè)告訴日僑：“我們中國人胸懷大度以德報怨，把你們妥善地遣返回國，這是我們中華民族的崇高美德和人道主義。日本軍閥發(fā)動侵華戰(zhàn)爭，不僅使中國人民深受其害，希望你們以后只帶友誼來，不要再帶刺刀來，再見吧！”李修業(yè)演講結(jié)束后，日本僑俘們彎腰低頭表示認罪，很多人痛哭失聲表示懺悔，并向中方贈送“感謝中國”的錦旗。