在中弹之后相当长一段时间里，“飞龙”号显然还未到不可收拾的地步。晚21时，“卷云”号舰长藤田勇中佐向南云报告说：“‘飞龙’号航速仍达28节。”但由于舰桥上面难以立足，无法驾驶，航母最终还是在21时23分停了下来。“风云”号冒着巨大的危险靠上前去，“卷云”号和“谷风”号也使用舰上的水管向航母泼水灭火，但他们的努力显然不够。21时30分，“夕云”号驶向“筑摩”号，让后者传来更长的水管。由于飞机库里全是因灭火而倒进去的水，“飞龙”号向左舷倾斜了15度，“卷云”号的桅杆因此被撞断。伤员首先向驱逐舰上转移。加藤觉大尉在上午袭击中途岛的战斗中腿部受伤，他的伤腿必须尽快锯掉。实在找不到合适的地方，军医找了一个洗澡间为他作了截肢手术。
到午夜时分，“飞龙”号已没有任何希望了。虽然它在两个半小时前就停了下来，而且火势一度得到了控制，但23时58分航母上再次发生了一次剧烈的诱爆，连舰桥外的悬吊弹盾都着了火。山口、加来及副舰长庚隆史中佐、飞行长川口益中佐及一众参谋只好撤离舰桥来到了飞行甲板上。
只有飞行甲板的左后部尚未被大火占领，所有活着的人全部聚集到了这里。“飞龙”号已无可挽救，下达弃舰命令已经是早晚的事情。加来舰长无需向山本和南云请示允许将“飞龙”号击沉，山口直接决定了此事。工程参谋久间武雄少佐向首席参谋伊藤清六中佐建议，无论如何也要把山口司令官转移到安全之地，必要时可以使用武力。伊藤对此并不赞同，“你就是将他硬拖下去，我敢肯定这位意志坚定的将军以后还会自杀。因为他已决心与航母共存亡，让他做自己想做的事才是最正确的方式。”
尽管平时御下极严，但所有下属都愿与山口同生共死。大家一致推举伊藤为代表将众人的心愿转告司令官，对此山口坚决反对：“诸位愿陪我一同为国捐躯的美意令我不胜感动，甚感欣慰。但你们年轻人必须离舰，这是我的命令。”加来提出，作为舰长自己决意与舰同沉，同时恳求山口尽快离舰。对此山口笑着摇头拒绝了加来的请求。皎洁的月光照在残破的甲板上，两位指挥官就要跟自己的部下诀别了。
5日凌晨2时30分，加来舰长下达了“弃舰”命令。20分钟后，两人向舰上大约800名水兵发表了诀别讲话。舰长加来首先发言，他鼓励所有将士今后继续为天皇战斗，相信他们一定会成为日益强大的日本海军之中流砥柱。随后矮个子的山口少将站在一个饼干铁盒上，发表了慷慨激昂的告别演说。他讲话的大意是：自己身为第二航空战队司令官，对“飞龙”号和“苍龙”号的损失负全部责任。“我将与舰共存亡。现在我命令你们全体离舰，继续为天皇陛下的伟大事业效忠。”全体人员转向东京的皇宫方向，由山口领头三呼“天皇万岁”。军乐队奏响了悲哀的军号，船员们齐声唱起了《君之代》，山口的将旗和“飞龙”号的战旗在歌声中徐徐落下。
仪式结束之后，伊藤根据久马的建议向山口索要一件纪念品。山口脱下黑色的军帽递给了他，接着又与加来同参谋们作诀别之饮。大家喝的是从驱逐舰上送上来的一小桶水。山口转身对要与他共命运的加来说：“今晚月色如此皎洁，你我一同仰月沉水如何？”
“确实看起来非常明亮，”加来对此表示赞同，“这应该是第21天的月亮吧？”
军需官提醒加来舰长，保险柜里还放着不少日元，此时怎么处置？加来笑着告诉他，“就放在那里吧，我们在穿过冥河时可能需要它们。”山口大笑着接过了话头，“说的对呀，我们需要用它们在阴间美美地饱餐一顿！”
伊藤问他们离舰之前司令官还有什么遗言，山口沉吟片刻后说：“是的，我还有两句话。请你转告南云将军，对今天发生的一切我没有任何抱歉之语。我只希望日本海军越来越强大，并且能报今日之仇。”山口最后一句话显然是带给第十驱逐舰分队司令官阿部俊雄大佐的，“用鱼雷击沉‘飞龙’号吧”。
5日凌晨3时15分，加来下令全体撤离。首先登上“卷云”号的是一位身强力壮的海军大尉，他的胸前紧紧贴着天皇御相。撤离工作进行得有条不紊。一直到4时30分，伊藤和久马才最后离开。他们顺着挂在左舷边的一根绳索攀援而下，随后上了一只小艇。久马忍不住回头去看熊熊燃烧的“飞龙”号，依稀看到山口和加来站在那里向他们挥手。此刻他彻底失去了冷静，眼泪哗啦啦地流淌下来。从1940年12月起久马就一直跟着山口，在他身边工作的时间最长。“长期以来我一直很崇拜他，我至今仍然认为，他是我一生中遇到的最伟大的男人。”这之后船上发生的事情就成了所有人的猜测，因为船头的船舱已被破坏，两人已不可能再回去。山口和加来的生命在何处终结就成了永远的谜。
作为山口的同班同学，一向自视甚高的宇垣在6月6日的日记里写道：“他的确是一位有远见的人。他能体谅别人，为人忠厚，行动果断。他向上司很有力地提出的积极建议，对作战的胜利贡献很大。在这方面他比其他司令官更为突出，由此而赢得了一个高尚的地位。”当山口的死讯传到北方时，第二机动部队司令官角田少将为此痛苦不已，他同样对山口颂扬备至。角田坦诚地向航空参谋奥宫少佐吐露了自己的心声，“山口将军要是能担任机动部队司令长官，该有多好，我情愿在他的手下工作！”要知道山口不但比角田小一岁，从“海兵”毕业也晚了一年。作为对手，美国人对山口同样评价甚高。在总结中途岛海战的战绩时，他们将日军损失了山口这样有魄力、有前途的海军将领视为自己的一项重大战果。
5时10分，5日的太阳已经在海平面上徐徐升起，“卷云”号准备执行山口最后的命令。驱逐舰左舷处的鱼雷进入了战斗状态，甲板上的水兵们紧紧抓住栏杆，默默抽泣，很多人甚至哭出了声。第一条鱼雷因发射太深未能命中，舰长藤田中佐绕到右舷又发射了一条鱼雷。剧烈的爆炸将“飞龙”号舰首抬出了水面。断定航母肯定无法幸免的藤田下令调头返航，那边阿部大佐正在召唤他呢。
如果要在日军中找一个类似美军格雷上尉那样的人，这个人无疑正是这个藤田。就在“卷云”号转身离去之时，“飞龙”号的甲板上忽然窜出来一大群人，向正在离去的驱逐舰挥舞着手臂和帽子。由于担心天亮之后会遭到美军的空袭，藤田相当冷酷地决定将那些新发现的幸存者留在那里。实际上他完全有时间派小艇将那些可怜的人接走。
藤田的判断绝对有误，顽强的“飞龙”号依然在海面上迟迟不肯入水。7时30分宇垣致电阿部：“‘飞龙’号是否已经沉没？希报告事态发展情况及该舰具体位置。”南云闻讯立即派“长良”号的一架水上飞机前往查明详情。飞机到达指定海域上空后，看到的仅仅是一片汪洋大海。其实真实情况并非如此，后文详叙。
（“飞龙”号的最后时刻）
（“飞龙”号舰长加来止男海军大佐）
（日本油画“山口将军罹难记”）
