Scribe представлял собой сервер для агрегирования данных журналов , передаваемых в режиме реального времени со многих серверов . Он был спроектирован так, чтобы быть масштабируемым , расширяемым без изменений на стороне клиента и устойчивым к сбоям в сети или на любой конкретной машине.
Scribe был разработан в Facebook и выпущен в 2008 году с открытым исходным кодом . [1] [2]
Серверы-писцы расположены в виде ориентированного графа, при этом каждый сервер знает только о следующем сервере в графе. Эта топология сети позволяет добавлять дополнительные уровни разветвления по мере роста системы и группировать сообщения перед их отправкой между центрами обработки данных, не имея при этом какого-либо кода, который явно должен понимать топологию центра обработки данных, а только простую конфигурацию. [3]
Scribe был разработан с учетом надежности, но не требует использования тяжелых протоколов и чрезмерного использования диска. Scribe записывает данные на диск на любом узле для обработки периодических сбоев узла подключения, но не синхронизирует файл журнала для каждого сообщения. Это создает возможность потери небольшого объема данных в случае сбоя или катастрофического сбоя оборудования. Однако такая степень надежности часто подходит для большинства случаев использования Facebook . [3]
.svg/1280px-Free_and_open-source_software_logo_(2009).svg.png){kind=logo}