Предполагается, что древняя японская музыка была примитивной и однообразной. Знания о древней музыке в Японии основаны почти исключительно на археологических свидетельствах, например, глиняные фигурки ханива дают представления об инструментах того времени: бамбуковой флейте ямато-буэ, древней лютне вагон или ямато-гото и других примитивных инструментах.
Первые письменные упоминания о японской музыке появляются в китайских хрониках. Так, в летописях III века китайской династии Вэй Чжи говорится о путешествии в Японию и о песнях и плясках ритуального обряда.
Существует сказание, датируемое III веком, о том, как корейские музыканты инструктируют японцев сохранять корабельную древесину, поскольку она идеально подходит для изготовления инструментов.
Далее музыка упоминается в японских хрониках «Кодзики» (712 г.) и «Нихон сёки» (720 г.). Так, в «Нихонсёки» сообщается, что в 454 г. 80 корейских музыкантов было послано в японскую столицу для исполнения музыки по случаю смерти императора Ингё.
В «Сёку Нихонги», исторической хронике VIII века, рассказывается о музыке для ритуальных посвящений в буддийских и синтоистских храмах.
Таким образом, наличие музыкальной культуры в древней Японии обозначено четко, но говорить о существовании самостоятельной инструментальной или вокальной музыки не представляется возможным (за исключением упоминания о мелодии кумэута). Туда, где музыка носила более сложный характер, она, вероятнее всего, пришла из Китая и Кореи и поэтому не может полностью называться японской национальной музыкой.
В период формирования ранней государственности в Японии, в связи с утверждением буддизма в качестве государственной религии развиваются виды музыки, прямо или косвенно связанные с буддийским культом.
