Баян причисляется к числу совершенных гармоник, которые существуют в наше время. Название «баян» можно было встретить в афишах с 1891 года, до этого похожие на баян инструменты назывались гармониками.

Происхождение гармоники связывают с азиатским инструментом шен, который на Руси был уже известен в X в (во времена татаро-монгольского владычества). По мнению некоторых исследователей, этот инструмент из Азии попал в Россию, а после и в Европу, где его модернизировали, и он стал завоевывать популярность.

В России распространение этого инструмента связывают с именем Ивана Сизова, который в 1830 году купил ручную гармонику на Нижегородской ярмарке и открыл гармонную мастерскую. Первая фабрика, где изготавливались гармоники была открыта в Туле в 40 гг. XIX в. и принадлежала Тимофею Воронцову. В год она производила около 10 000 инструментов, что стало одним из факторов распространения этого инструмента.

К середине XIX века гармонику считали символов нового народного инструмента и использовали на всех празднествах и гуляниях.

В России существует большое число национальных гармоник, которые отличаются звукорядом и формами. От места создания гармоники происходило называние инструмента.

На Руси первые гармошки изготавливались тульскими кустарями, и первые такие инструменты имели один ряд кнопок для правой и левой руки. По такому же принципу делались самые маленькие концертные гармоники — черепашки. Они были достаточно голосистыми и звонкими, чтобы производить колоссальное впечатление на публику.

После тульских гармоник также стали появляться гармошки из Саратова, где инструмент получил более необычный тембр, саратовскими мастерами были добавлены в конструкцию колокольчики. Такие гармошки стали популярными в народе.

Диапазон звучания инструментов был расширен вятскими кустарями, которые добавили в левую и правую руку дополнительные кнопки. Инструмент назвали Вятской гармонью.

Все эти инструменты отличались звуком при нажатии кнопки для разжима и сжима мехов. Такие гармони назывались Тальянки и могли иметь русский и немецкий строй. Для игры на нем необходимо было знать, как играть мехами.

Ливенские кустари добились того, что звук никак не изменялся при смене меха. Они не имели обычных ремней, и крепились на кистях на коротких  ремешках. Ливенские инструменты имели очень длинные меха.

В Россию из Европы пришли двухрядные гармошки, которые также назывались «двухзвукорядные» гармошки, а также Русские венки.

Однако на настоящий момент такие гармошки являются редкостью, так как со второй половины XX века началось их вытеснение хромками.

Баян в современном понятии появился благодаря конструктору Петру Стерлигову. Популярность баяну принес музыкант Яков Федорович Орланский-Титаренко. Инструмент назвали в честь знаменитого русского музыканта Бояна в 1907 году, завоевавшего большую популярность.