Компютърните решетки и силата на паралелните изчисления - тази ключова технология ще отвори вратите пред редица нови приложения

Категория: Интернет
Етикети: отворен код
10.2.2004

Съобщенията от последния месец, относно факта, че структурата на WS-Resource позволява управление на решетката чрез обикновени протоколи за Web услуги, слага точка на процеса, който започна през 1965 със създаването на първия мултипроцесорен компютър. Библиотеките, натрупали в себе си изстрадани изследвания, подтикнаха развитието на компютърните решетки чрез решаването на екзотични и важни проекти посредством схеми за паралелна обработка
Обединяването на усилията на отделните производители на компютърни компоненти, увеличаващата се пропускателна способност на мрежите, както и операционните системи с отворен код допълват списъка с причини за успеха на този проект. Всички те взети заедно дават дефиницията на компютърната решетка в производствен вариант: свързани хетерогенни изчислителни възли, всеки от които се самоуправлява софтуерно, като по този начин се формира една обща виртуална система. Опитът от последните няколко години на eWEEK Labs показва стабилен курс на ключовите компютърни технологии по посока на разцвета, който те изживяват в момента. Решетките се превърнаха в неустоим и рентабилен начин да се образуват дори и най-немислимите комбинации на широкообхватни паралелни изчислителни устройства, все по-мащабни приложения и все по-ниски стойности на оценката за евентуални сривове в системите. Но сега решетките са изправени пред далеч по-голямата бариера на тяхното възприемане от клиентите. Много от днешните професионалисти в областта на информационните технологии са скептични дали “решетката” е приложима за техните ежедневни задачи.
Падащите цени на мултипроцесорните системи са причина фирмите да се вглеждат подозрително върху алтернативата да свържат няколко машини и да ги накарат да работят като един единствен сървър..
Те може би замислят дали цената ще надхвърли стойността на спестяванията, които биха се реализирали при евентуално подобрение на полезния коефициент на използваемост на процесорите при включване в подобна решетъчна технология, която ще разпредели натовареността. Така или иначе това, което решетката предлага на тези настроени с основание скептично крайни потребители, е лесният начин за пренасочване на изчислителната мощ там, където това е необходимо, а не статичното и използване, дори и на цената на спестени капитални средства за определени бизнесединици. Корпоративният център за данни е на път да се превърне от една проста хардуерна съвкупност в един истински доставчик на услуги за цялата фирма. Това е факт, който нашите eWEEK лаборатории ще изследват през следващата седмица във втората част на този специален доклад. Решетките са ключова технология и техните основи ще бъдат предмет на обсъждане и занапред.
Биологични проблеми като например свиването на протеиновите молекули са настоящето предизвикателство, изискващо интензивни изчислителни процеси и мултипроцесорна мощ в огромни количества. Такава например е LINUX конфигурацията в San Diego Supercomputing Center.
eWEEK Labs успя да се срещне в края на миналата година с екипа, който
конструирал за броени часове този супер компютър. Вместо да се наемат нископлатени студенти, които биха свършили работата в рамките на месеци, една компютърна решетка може да бъде направена за приемливо производствено време с достъпни човешки ресурси.

Суперкомпютрите са на пазара
През изминалите десетилетия доминираше практиката еднородни проблеми да се решават чрез относително еднакво специализирана в хардуерно отношение техника, като например суперкомпютри за векторна обработка, като високата цена за разработване, изграждане и програмиране на тези системи можеше лесно да бъде доказана чрез далеч по-големите спестявания.
Това, което сега е движещата сила на компютърните решетки, е достъпната цена на техниката, а не толкова решаването на важни задачи. Съотношението цена производителност прави толкова атрактивно предложението да свържеш няколко x86 Linux блейд сървъри. Такъв “екип за бързо реагиране” в термините на компютърната мощ би могъл да се справи с големи и сложни задачи чрез използване сложността на платформите, включени в решетката. Една изцяло нова гама софтуерни решения навлизат на пазараь, за да запълнят нуждата от такива решения. Например технологията на Oracle Real Application Clusters използва архитектурата Cash Fusion. Друг пример за подобен софтуер е Globus Toolkit. Той представлява развойна среда с отворен код, осигуряваща поддръжка и администриране на компютърната решетка, както и инструменти за откриване на проблеми. “Има вече доста технологии, които се появиха накуп през последните три- четири години”, сподели Боб Шимп, вицепрезидента на Oracle Technology Marketing . Той добави, че на фона на евтините x86 блейд сървъри и разширените възможности при избора на цена спрямо производителност, LINUX се явява една ключова технология, която съзря много през последното десетилетие. Тя не само е операционна система за сървъри с ниска цена, но по-интересното е, че тя по начало не е била проектирана само за десктоп или сървърна системи. Т.е тя няма онази многопластовост, характерна за конкурентите, което я прави стегната и производителна. В доказателство на тази позитивна оценка са и тестовете на eWEEK Labs, извършени с LINUX системи, както PDA, така и големи корпоративни устройства и сървъри
В една по-малка степен налагането на компютрите конфигурирани в решетъчна структура става заради все по-нарастващите нужди за ресурси на масивите от корпоративни данни, които се доближават до нивото едва ли не на научните изчисления.
Обемите данни, използвани в един WEB сървър за сайт за електронна търговия, както и във финансови продукти или управляващ софтуер от висок клас, водят именно до такава категоризация на нещата и налагат използването на достъпни подходи, какъвто се явява именно компютърната решетка.
Един забележителен успешен пример на компютърни компоненти, свързани паралелно, заедно със софтуер с отворен код е широко използваната машина за търсене Google Този огромен клъстерен масив включва повече от 15 000 PC-та от един и същи клас (според доклада на IEEE Computer Society, публикуван през миналата година. Приложението Google е проектирано по такъв начин, че да извлече максимум полза от тези конструктивни блокове с компютри, като за целта различните заявки се изпълняват на различни процесори, индексите са разпределени и това позволява дори единично търсене да се раздели между няколко процесора.
Според същия доклад, тъй като една нормална заявка към Google завърта около 10 билиона процесорни цикъла, докато се извършва самото търсене в базата, която е с обем стотици мегабайти, съвсем естествено става решението да бъдат свързани компютри в решетка. Точно тази конструкция позволява на Google да се стреми към постигането на възможно най-ниското съотношение на цена спрямо производителност, а не да следва старите принципи на търсене на максимална производителност на процесорите без оглед на цената за това.
Точно тази отличителна черта притежава стойностното предложение за клъстерни конфигурации, които напоследък печелят почва с анонсирането на т.нар. клъстерни конфигурации Beowulf, които обединяват обособени компютри от потребителския клас със инсталирани операционни системи с отворен код като Linux и FreeBSD.
Клъстерът е хомогенна конфигурация от блокови елементи (в общия случай компютри) с приблизително еднакви характеристики, които се управляват централно. Компютърната решетка е по-динамична структура, това е виртуална хетерогенна система, съставена твърде често от ресурси, които могат да бъдат съвсем различни по характеристики и възможности и които дори могат да напускат и да се присъединяват към решетката без предупреждение, когато това се налага.
В доклада на IBM RedPaper от ноември 2002 озаглавен „Основи на компютърните решетки” се казва: „ Основната цел е да се създаде илюзията за един достатъчно прост, но голям и мощен виртуален самоуправляващ се компютър, който е съвкупност от свързани помежду си хетерогенни системи, споделящи различни комбинации от ресурси. Стандартизирането на комуникациите между различните системи бе в основата Internet експлозията. Зараждането на стандартите за споделяне на ресурси, както и все по-високата скорост на пренос на данни са в еднаква степен причини за голямата крачка напред в еволюцията на компютърните решетки. ”
За да се направи тази крачка, необходимо е в идеалния случай системата да функционира с минимално централизирано управление за разлика от клъстерните конфигурации или т.нар. сървърни ферми, където стандартът е управлението да бъде от една-единствена точка. Решетката трябва да използва неспециализирани протоколи, а не специфични за приложения като например SETI@home. Също така трябва да сегарантира качеството на услугата, което е важно за бизнес приложенията – например чрез балансиране на натоварването между различни ресурси. Опортюнистични системи като повечето peer-to-peer приложения контрастират с горепосоченото, защото те наистина използват като ресурси всичко, което могат, но не липсва протоколът от високо ниво, който да извърши преразпределението на задачите.
Така или иначе, да се питаме дали решетката е подходящото решение за която и да е задача не е най-правилният въпрос. Модерната компютърна система представлява по-скоро баланс между оптималното решение за една задача и гъвкавост за всички останали и не трябва изборът да се налага от предимството на един подход пред друг.
По начина, по който Web услугите с тяхната визия за приложения по поръчка привличат вниманието на различни фирми , решетките предлагат все по-стандартен начин за достигане на необходимите компютърни ресурси при нужда. По същия начин, по който INTERNET се превърна в платформа за пренос на данните между тези, които генерират такива и крайните консуматори, така компютърната решетка трябва да се превърне в решението, което обработва потоците от данни по един ефикасен и организиран начин, без рискове да бъдат допуснати грешки.
Като се основаваме на всички горепосочени мнения, спокойно можем да прогнозираме, че бариерите пред тази нова технология ще падат една по една, докато икономическите показатели на модела на решетките ще продължават да се покачват.



Какво oще се изисква в допълнение към мощните процесори?

До три-четири години е възможно решетките да се превърнат в новата доминираща архитектура на пазара, прогнозира Боб Шимп, вицепрезидент на технологичния маркетинг на Oracle.
Oracle са избрали серийния подход при предлагане на продукт, ориентиран към решетките с тяхната нова СУБД Oracle 10g, който автоматизира управлението и размера на БД, както и процесорните ресурси на множество бази данни, разпределени в компютърна решетка. Виртуалната структура на 10g се състои както от устройства за съхранение на данните, така и от виртуални сървъри, които по същество представляват отделни логически единици за администратора. Физическите устройства могат да се добавят или премахват без това да прекъсне операциите на базата данни.
Средствата за разработка на софтуер са критичната част при всяка една важна промяна в сферата на IT технологиите. Например JDeveloper 10g на Oracle, който предстои да бъде завършен скоро, допълва абстрактността на решетъчните платформи със своя декларативен модел на програмиране, който елиминира нуждата програмистите да се грижат за разпределянето на отделните задачи и процедури между отделните процесорни възли.
IBM от своя страна чрез своята Web страница за разработчици предлага провеждането на обучение за използването на Perl и Perl Commodity Grid Kit за разработване на приложения за управление на компютърните решетки.
Инициативите за разработка на Hewlett Packard се фокусират най-вече върху поддръжка на зараждащите се стандарти, както и в обучението. Освен това също така се анонсира съвместимостта на платформите на HP със специализирания софтуер Global Toolkit.
Чрез съчетаването на ефективната в ценово отношение компютърна мощ в т.нар. „решетка” големите IT разработчици и системни производители могат спокойно да съсредоточат своите сили върху разработването на уникални приложения, които по-точно да отговарят на бизнес нуждите на световния пазар.