Охлаждение рендер-фермы

#1 **Vadya corp.** » Чт 8.11.2007, 14:54

Собираю рендер-ферму из такого вот железа:
5 машин CoreQuad Q6600, 4Gb DDR2 800, у каждой будет Raptor на 36 Гб, и на одной машинке Raid 0+1 из Сигейтов
В дальнейшем еще 10 таких машин встанет.

Так вот, решил я сэкономить на корпусах, решил, что лучше будет запихать это дело в шкафчик из алюминиевого композита (стенки запенить, покрыть шумоизолирующими материалами и теплоизоляцией). И задумался - как сделать оптимальное охлаждение? Можно ли зафигачить на вход какой-нибудь кондиционер, а вывод сделать наружу, т.е. из здания патрубком выводить теплый воздух, а кондей внутрь пускает холод.

Кто-нибудь может подсказать, как лучше сделать охлаждение?

#2 **Lepricon** » Чт 8.11.2007, 17:32

Vadya corp. Вобще все это греться не должно, если шкаф продувай все навсквозь просто шаси вентиляторными, вдув снизу выдув сверху.)))

#3 **Vadya corp.** » Чт 8.11.2007, 17:43

Lepricon Хм, есть успешный опыт?

#4 **Славка** » Пт 9.11.2007, 11:36

Vadya corp. можно оффтоп? Что эта система делать будет? А по теме ничего не могу сказать, у меня везде штатное охлаждение всегда справлялось...

#5 **Lepricon** » Пт 9.11.2007, 16:58

Vadya corp. Есть, с серверными ящиками, там все просто, крыша вынимаеться, вырезаеться, втавиться решетка и пылевой фильтр, снизу шасси вентиляторное и сверху шасси вентиляторное. В итоге все продуваеться, и довольно неплохо, при этом использовался 42 юнитовый 19" шкаф.))) Вобще тебе сдесь надо обратить внимание именно на серверные варианты, я лично видел стойку собраную в подобном шкафу из 10 двухюнитовых DePoвских серверов правда на базе А64Х2, но сами фабричные шкафы и сервера дело не дешевое, что то подобное собрать в домашних условиях проблематично.)))
Кстати че рендерить бушь???

#6 **DorG** » Пт 9.11.2007, 17:25

Славка
рендерить она будет =)
Lepricon
+1
но я бы еще добавил хороший кондиционер в помещение..естественно не в шкаф как автор хотел..а именно в помещение

#7 **Славка** » Пт 9.11.2007, 17:26

DorG обрабатывать графику?

#8 **DorG** » Пт 9.11.2007, 17:35

Славка
http://ru.wikipedia.org/wiki/%D0%A0%D0% ... 0%BD%D0%B3

#9 **Славка** » Пт 9.11.2007, 17:38

DorG всё ясно. Теперь понял для чего собран этот монстр. Когда то баловался 3DS Max ещё 6-ой версии, наваял там такого, что за неделю не дождался конца рендеринга. Правда и комп то средненький был, но и я не мегапрофи чтоб сложные сцены рисовать

**#10** **DorG** » Пт 9.11.2007, 17:42

Славка
я примерно год вожусь с ним, потом год отдыхаю =) с каждым годом немного дальше продвигаюсь =)

**#11** **Славка** » Пт 9.11.2007, 17:44

DorG а я забросил как раз после того случая. И начинать заново не хочется, тем паче нет склонности к этому.

**#12** **cepera_ang** » Пт 9.11.2007, 17:58

Хренасе изврат :shock:

Купи себе серверную стойку и набей туда самых дешевых 1U машинок с теми же Core Quad и RAID1 ибо нах для рендера не нужен RAID10... И охлаждаться они будут замечательно своими силами, главное шкаф с нормальными, перфорированными дверцами.
И не забудь туда UPS под соответствующую нагрузку посчитать, ибо очень будет жаль если такая ферма на 90% рендера вдруг упадет

Lepricon Вентиляторы снизу и сверху считаются legacy решением, потому что если набить стойку, получается 80-90% поперечного сечения закрыто и верхний вентилятор охлаждает только верхнюю крышку верхнего сервера.
Вчера APC рассказывали как раз про охлаждение и питание хорошее

PS Паржал над монтажной пеной

советую на http://forum.ixbt.com/topic.cgi?id=66 сходить, там точно хорошего посоветуют

**#13** **Vadya corp.** » Сб 10.11.2007, 14:53

cepera_ang Нах не нужен 1U, три UPSа на 620 Вт каждый, хватит, чтобы дорендериться хотя бы одной картинке. Ссылко на ixbt.com не работает

Посмотрел я сколько стоит 1U и стоечка под них...

Lepricon Рендериться будет интерьерка, раньше на одном компе рендерилось в среднем 8 часов, я сделал сетевой рендеринг - стало 4 часа при использовании всех машин, теперь вот надо сделать так, чтобы было за 10-15 минут.

Всем спасибо, проблема решилась установкой кондиционера над открытым шкафчиком.
В итоге, окончательно имею все же кластер

**#14** **cepera_ang** » Пн 12.11.2007, 10:16

Vadya corp. http://forum.ixbt.com/?id=66

ошибся я )) но кластер у тебя конечно супер ))) 1U - от штуки баксов и стойка примерно столько же.

**#15** **Lepricon** » Пн 12.11.2007, 12:28

cepera_ang Шасси вентиляторные служат в даном случае для прогона горячего воздуха и только.)))

**#16** **cepera_ang** » Пн 12.11.2007, 12:44

Lepricon ага... их рекомендуют на стойки с телеком оборудованием устанавливать, иначе толку мало, потому что серваки гонят воздух спереди-назад и закрывают поток воздуха сверху вниз. Правда есть еще такие штуки, которые холодный воздух гонят перед передней дверью вертикально вверх

**#17** **Vadya corp.** » Пн 12.11.2007, 15:00

cepera_ang Ну я смотрел, можно заказать 1U корпус с мамкой SuperMicro'вскую за 500-650$, итого на каждый комп по корпусу = 2000$ + 1000$ шкаф = 3000$, весьма ошутимая стоимость

**#18** **Lepricon** » Пн 12.11.2007, 15:26

Vadya corp. Вот буквально еще по прошлой зиме занимался этим барахлом:
- шкаф на 19 дюймов 42 юнита стоит 15000
- шасси вентиляторов по 2200 штука
- сервак 1U от 22000 и до бесконечности
- УПС PowerCom 1200 примерно 8000 2U
Причем тебе для рендеринга нужна частота проца, всякие 2 ядра и остальное поидее никчему, поэтому пойдут обычные 2-х ядерные пеньки, на каждый комп винты 2х80 в RAID 1, оперативы макс по 1гигу максимум, ну и гигабитная сеть, тоесть ДЕПОВские сервачки тебе примерно в 25-30 штук выкатят, ящик в Сиброне спроси, они их сами делают, короче не все так страшно как кажеться, надо просто заняться.)))

cepera_ang Вентиляторы создают движение воздуха с низу вверх, поидее достаточно, как мне кажеться.)))

**#19** **cepera_ang** » Пн 12.11.2007, 15:55

Lepricon Для рендера не только частота, но кол-во ядер решает, так что набивать по 2 четырехядерных проца и гут! 10 машинок таких - 80 ядер... а это уже сила.
Вентиляторы то создают, да только там места после серваков нифига не остается )))
Vadya corp. Интересно куда ты собрался ставить 15 компьютеров без корпуса :roll:

как всё это дело питать...

PS

УПС PowerCom 1200 примерно 8000 2U

Ужос... на 15 тачек? ))

**#20** **Vadya corp.** » Пн 12.11.2007, 21:14

cepera_ang Ну как без корпуса, все они встанут в один шкафчик, каждый на свою полочку, все это в отдельную маааленькую комнатку с кондиционером. Цена неслабо растет на машинки с двумя процессорными слотами.

Lepricon Да, как сказал cerega_ang, ядра и оператива решают все. RAID 1 нафиг не сдалсо, RAID 0+1 на одной машине из рапторов, остальные машины по NFS грузятся и дальше работают. RenderPal Linux Client на каждую машинку, RenderPal Windows Server на машину вне кластера.