.(Из сосуда, заполненного спиртом, отлили 6 л. затем долили в него столько же литров воды и опять отлили 5 л смеси. в сосуде осталась смесь, содержащая 80% спирта. найдите вместимость сосуда.).

Изначально: x литров спирта
Отлили 6 литров, осталось x-6 литров спирта.
Долили 6 литров воды - получилась смесь из (x-6) спирта и 6 воды.
Концентрация спирта: k = (x-6)/x.

Если мы дальше и будем отливать смесь, то концентрация не изменится. Она может измениться только если мы дольём в сосуд чистый спирт либо чистую воду.
Значит, k = 80%.
(x-6)/x = 0.8
x-6 = 0.8x
0.2x = 6
x = 30

Условие про 5 литров здесь никак не используется, но если составители задачи требуют именно его, могу притвориться, что не знаю, чему равно k )))
Рассуждаем так:
Имеем смесь из (x-6) спирта и 6 воды. Концентрация спирта: k = (x-6)/x.
Отлили 5 литров смеси - это 5k спирта и 5*(1-k) воды.
Осталось в сосуде (x-6-5k) спирта, а всего (x-5) литров смеси.
По условию, раствор 80%-ный, т.е. (x-6-5k) = 0.8(x-5).
x - 6 - 5(x-6)/x = 0.8x - 4
xx - 6x - 5x + 30 = 0.8xx - 4x
0.2xx - 7x + 30 = 0
xx - 35x + 150 = 0
x1 = 5, x2 = 30
Из 5-литрового сосуда нельзя отлить 6 литров, значит, единственный ответ - x = 30.

Проверка.
Было 30 л спирта. Отлили 6, осталось 24. Добавили 6 л воды - стало 30 л смеси. Концентрация спирта: 24/30 = 80%.
Отлили 5 л смеси, в которую попало 0.8*5 = 4 л спирта и 1 л воды.
Осталось в сосуде 25 литров, из которых 20 литров спирта и 5 литров воды, т.е. те же 80% спирта.

Было хл спирта.Отлили 6л,стало х-6л спирта.Долили 6л воды,стала смесь в которой (x-6) спирта и 6 воды.
Концентрация спирта: у = (x-6)/x.
Отлили 5 литров смеси ,то есть  5у спирта и 5*(1-у) воды.
Осталось в сосуде (x-6-5у)л спирта.
Всего (x-5) л смеси.
Раствор 80%-ный, значит. (x-6-5у) = 0.8(x-5)
(х-6-5(х-6)/х)=0,8(х-5)
x - 6 - 5(x-6)/x = 0.8x - 4
x² - 6x - 5x + 30 = 0.8x² - 4x
0.2x² - 7x + 30 = 0
x² - 35x + 150 = 0 
х1+х2=35 и х1*х2=150
x1 = 5, x2 = 30
х=5л не удов условию ,так как  нельзя отлить 6 литров
ответ  было 30л спирта