Max Home IndustryСистема обслуживания больших данных, которая питает Yahoo и Flickr, была создана с открытым исходным кодом компанией Oath, материнской компанией Yahoo.
Большинство разработчиков будут знакомы с Hadoop, который Yahoo сделала открытым исходным кодом в 2006 году. Vespa-это еще один элемент в пакете управления данными Yahoo, механизме обработки и обслуживания данных, и он также доступен с открытым исходным кодом на GitHub.
Vespa решает проблему предоставления результатов конечным пользователям, когда возникает необходимость выполнять вычисления над данными, пока пользователь ждет, как в случае с приложениями, в которых есть поиск, рекомендации и персонализация. Vespa означает, что вы можете создавать приложения, которые вычисляют ответы на запросы пользователей по большим наборам данных в режиме реального времени и в масштабе Интернета.
Oath (группа Verizon, владеющая Yahoo) использует Vespa во многих различных брендах Oath, включая Yahoo.com, Yahoo News, Yahoo Sports, Yahoo Finance, Yahoo Gemini и Flickr. Система обрабатывает миллиарды ежедневных запросов по миллиардам документов, отвечая на поисковые запросы, давая рекомендации и предоставляя персонализированный контент и рекламу. Он также обслуживает более 3 миллиардов запросов на нативную рекламу в день через Yahoo Gemini.
Vespa можно использовать для выбора элементов контента с помощью SQL-запросов и текстового поиска, а также для организации совпадений для создания страниц, управляемых данными. Он может ранжировать совпадения с помощью жестко запрограммированных или машинно-обученных моделей релевантности. Результаты подаются с временем отклика в минимумах миллисекунд, и он может записывать данные в режиме реального времени со скоростью тысячи раз в секунду на узел.
Vespa распределяет данные и вычисления по многим машинам без единого мастера в качестве узкого места. Вы можете передавать данные и модели любого размера в обслуживающую систему, а затем выполнять окончательные вычисления во время запроса. Он может быть запущен локально или в облаке, и для Vespa есть как образы Docker, так и пакеты rpm. Вы можете прочитать, как создавать системы Vespa и управлять ими, а в блоге Vespa есть серия сообщений о том, как максимально использовать Vespa.