Hán tự (chữ Kanji) do những người di dân Trung Hoa và Triều tiên đưa vào Nhật Bản khoảng thế kỷ thứ 3 trước công nguyên, vào thời kỳ này tiếng Nhật chỉ tồn tài dưới dạng nói và Hoa ngữ được vay mượn để ghi lại tiếng Nhật. Chính sụ phát âm của tiếng Hoa cũng du nhập vào Nhật Bản, và nói chung thường dùng trong các từ ghép.
Vào thế kỷ thứ 9, những chữ chuẩn hóa dùng làm ngữ âm được đơn giản hóa thành các bộ vần như Kana (仮名 (giả danh)). Có 2 bộ vần đó là hiragana và Katakana. Hiragana xuất phát từ những chữ thảo theo kiểu chữ đầy đủ, nét viết mềm. Katakana thường chỉ dùng một phần chữ, hiện nay chủ yếu dùng chữ này để diễn tả những chữ mượn từ tiếng Anh hoặc từ ngôn ngữ phương Tây.
Qua các thế kỷ sau, những chữ được du nhập vào Nhật Bản đã tiến hóa theo cách riêng của chúng, đạt được sắc thái và ý nghĩa rộng không nhất thiết có ở trong tiếng Hoa, và hầu hết đều trải qua sự biến đổi ngữ âm.
Sau cuối chiến tranh thế giới thứ 2, Bộ giáo dục Nhật Bản đã cố gắng hợp lý hóa chữ viết trong nước bằng cách định ra 1850 chữ tiêu biểu cho chữ Kanji thông dụng và quan trọng nhất. Trong số 1850 chữ này, có 881 chữ được chỉ định là Kyouiku (chữ Kanji được dùng trong giáo dục). Những chữ này được xem là đặc biệt quan trọng và là yêu cầu chủ yếu cho 6 năm trong hệ giáo dục cơ bản. (Trên website chọn 800 chữ học âm hán việt)