事实上，到了上世纪七八十年代，从我国东北回到日本的人数才刚刚开始。
那些回到日本的人，在日本被称为“残留日本人”。 什么是“残留日本人”?当日本对我国发动侵略时，有一部分土生土长的日本农民组成开垦团，派往我国，日本农民开垦团所聚集的地区就是我国的东北地区，在东北地区开荒种地。他们在东北期间，这些日本农民逐渐习惯了在东北的生活，也下定决心要在那里长期定居下来。不过，事情最终与他们的想象背道而驰，1945年，苏联红军大举进攻东北，日本关东军战败。日本投降后，他们又开始面临遣返回国的命运。
从一开始，日本就没有打算将这些百万日本农民遣返回国，由于美国攻入日本本土，受到战争的洗礼，在当时日本国内人民是否有饭吃都是一个问题，根本没有多余的物资供应那些人。另外，日本政府有他们的野心，还想着有朝一日重返中国，如果，把这些开垦团的人留在中国，到时候，重新统治东北。可是，当时的国民政府和美国看出他们的想法，另外如果这些人留下会给东北留下轮乱的局面。所以，在美国的压迫下，日本在我国葫芦岛撤侨。在这个过程中，日本政府对日本华侨封锁了消息，没有规划好撤侨方案，使一部妇女和孩子都留在了我国东北。这些被遗落的妇女和孩子，她们的命运还是不错的，妇女嫁给了当地的农民做了老婆，孩子们被当地农民抚养，看作自己亲生孩子一样。虽然，有的被外人歧视，但她们的丈夫和养父母对她们很好，让她们受伤心灵慢慢的愈合。从此，过着平凡而简单的生活。上世纪70、80年代有很多日本遗孤和妇女返回日本，其中还这些“残留日本人”的配偶和子女。这些人返回日本后，为了报恩返回到中国。不会有百万日本人认祖归宗的事情发生。
在中日建交以来，会有很多日本人来到我国，但是他们都是几个人或者几十人，都不会超过百人，有些日本人来我国认祖归宗，根据他们手里资料，认为他们的祖先是从中国到日本的，所以，回来寻根来。还有的坚信祖先徐福带去3000童男童女是日本人，到处宣传日本祖先的事情。