分布式日志收集系统： 非死book Scribe之配置文件
jopen
13年前
<span style="color:#000000;font-size:18px;"><a href="http://www.open-open.com/lib/view/open1326329155780.html" target="_blank"> 上一篇文章</a>介绍了一些关于scribe的基础知识，也是自己在公司内部分享的一些内容，当时公司很多同事也积极与我沟通，没想到网上也有这么多人关注，下面几篇文章继续分享一些自己研究scribe的一些成果和心得吧！</span> <p><span style="color:#000000;font-size:18px;"> 其实我们研究一个开源的系统，第一步通常是先把它用起来，因为一个开源的系统能够出现在大家的面前肯定是比较出名和流行的，所有功能是比较出色的。所以我们必须很清楚的这些功能，而scribe最大的特点就是配置文件，它强大的功能全部通过配置文件来配置实现的，今天就简单介绍scribe的配置文件。</span></p> <p align="center"><span style="font-size:18px;">scribe配置文件详解</span></p> <p><span style="font-size:18px;">1.全局配置项</span></p> <p><span style="font-size:18px;">（1）port：指示scribe服务器在哪一个端口上监听，默认是0，通过命令行参数选项-P可以指定端口，也能够通过配置文件指定。在源代码中就赋值给变量port。</span></p> <p><span style="font-size:18px;">（2）max_msg_per_second：默认值是0，如果这个参数值是0将被忽略。随着最近的改变这个参数很少被关联使用到，max_queue_size参数将被应用到限制每秒最大的消息数。在scribeHandler::throttleDeny被使用。</span></p> <p align="left"><span style="font-size:18px;">（3）max_queue_size（按字节）：接收消息的队列的最大字节，默认是5,000,000字节。在scribeHandler::Log使用。</span></p> <p><span style="font-size:18px;">（4）check_interval（秒）：用于控制多长时间检查一次存储，默认值是5.</span></p> <p><span style="font-size:18px;">（5）new_thread_per_category（是/否）：如果为是，将为每一个分类场景创建一个新的线程，否则将创一个单线程为每一个在配置文件中定义的存储。对于前缀存储或默认存储，如果这个参数设置成“否”将导致所有匹配这个分类的消息都由一个单独的存储来处理。否则将为每一个唯一的分类名创建一个新的存储。默认为“是”。</span></p> <p><span style="font-size:18px;">（6）num_thrift_server_threads：为接收消息的监听线程数量，默认是3.</span></p> <p><span style="font-size:18px;">（7）max_conn：最大的链接数。</span></p> <p></p> <p><span style="font-size:18px;">2.存储配置</span></p> <p><span style="font-size:18px;"> Scribe服务器决定怎样将日志消息写入是基于在配置中定义的存储类型和相关参数设置，每一个存储都必须指定一个消息分类来处理三种异常。</span></p> <p><span style="font-size:18px;">（1）默认存储：默认分类处理任何不能被其他存储处理的分类，这儿仅仅能够有一个默认存储。</span></p> <p><span style="font-size:18px;">（2）前缀存储：如果指定分类以一个*结尾，这个存储将处理所有以指定前缀开头的分类。</span></p> <p><span style="font-size:18px;">（3）多个类别：在一个存储定义中能够使用‘categories=’创建多个类别。</span></p> <p><span style="font-size:18px;">在上面三种情况下，在文件存储中将为每一个唯一的分类创建一个子目录（除非new_thread_per_category被设置为false）。</span></p> <p></p> <p><span style="font-size:18px;">3.存储配置变量</span></p> <p><span style="font-size:18px;">（1）category：决定哪些消息被这个存储处理。</span></p> <p><span style="font-size:18px;">（2）type：存储类型，有file、buffer、network、bucket、thriftfile、null、mutil。</span></p> <p><span style="font-size:18px;">（3）target_write_size：默认是16,384字节，决定在这些消息处理之前在给定分类的消息队列可以增长到多大。</span></p> <p><span style="font-size:18px;">（4）max_batch_size: 默认1,024,000字节（可能没有被开源），决定在内存存储队列中一次能够被处理的数据的总数，这个（加上缓冲文件旋转的大小）控制多大的一个thrift调用可行。</span></p> <p><span style="font-size:18px;">（5）max_write_interval：默认是10秒，决定在这些消息处理之前在给定分类的消息队列可以用多长时间。</span></p> <p><span style="font-size:18px;">（6）must_succeed（yes/no）：是否必须成功，如果一个存储处理消息失败是否重新进入消息队列排队，如果设置成 ‘no’，且一个存储不能处理这些消息，消息将被丢弃。默认是yes。强烈建议使用缓存来指一个定二级存储来处理失败的日志。</span></p> <p></p> <p><span style="font-size:18px;">4.file存储配置</span></p> <p><span style="font-size:18px;"> File存储写入消息到一个文件。</span></p> <p><span style="font-size:18px;">（1）file_path:文件路径，默认是“/tmp”。</span></p> <p><span style="font-size:18px;">（2）base_filename：基本文件名称，默认是分类名称。</span></p> <p><span style="font-size:18px;">（3）use_hostname_sub_directory（yes/no）：使用服务器的主机名创建一个子目录，默认是no。</span></p> <p><span style="font-size:18px;">（4）sub_directory：使用指定的名称创建一个子目录。</span></p> <p><span style="font-size:18px;">（5）rotate_period：文件创建周期，取值可以是 “hourly”, “daily”, “never”,或者是name[后缀], “never”是默认值，决定多长时间创建一个新文件，特别的后缀“s”, “m”, “h”, “d”, “w”分别代表second（默认）、minutes、hours、days和weeks。</span></p> <p><span style="font-size:18px;">（6）rotate_hour：取值0-23，默认是1，如果rotate_period取值是daily，这个就决定每天的什么时候创建新文件。</span></p> <p><span style="font-size:18px;">（7）rotate_minute：取值0-59，默认是15，如果rotate_period设置为daily或hourly，这个就决定以一个小时过后多久创建一个新文件。</span></p> <p><span style="font-size:18px;">（8）max_size：文件上限大小，默认1,000,000,000多字节，决定在轮流创建一个新文件以前一个文件能够增长到多大。</span></p> <p><span style="font-size:18px;">（9）write_meta:取值yes或其他任何，false为默认值，如果文件被旋转，最后一行将包含“scribe_meta”，跟着就是下一个文件名。</span></p> <p><span style="font-size:18px;">（10）fs_type:文件类型，支持“std”和“hdfs”两种格式，“std”为默认值。</span></p> <p><span style="font-size:18px;">（11）chunk_size：默认值是0，如果一个块大小被指定，在文件内没有消息能够跨越块的边界，除非有消息的大小超过块的大小。</span></p> <p><span style="font-size:18px;">（12）add_newlines：取值0或1，默认是0，如果设置为1，以后的每一个消息都写入一个新行。</span></p> <p><span style="font-size:18px;">（13）create_symlink：yes或其他任何，默认是yes。如果为yes，将保持一个符号链接指向最近一个被写入的文件。</span></p> <p><span style="font-size:18px;">（14）write_stats:yes/no，默认是yes。是否创建一个scribe_stats文件为每一个存储来保持文件写入的轨迹。</span></p> <p><span style="font-size:18px;">（15）max_write_size：默认是1000000字节。File存储将尝试按max_write_size字节的块大小刷新数据到文件系统。max_write_size的大小不能超过max_size。由于 target_write_size一定数量的消息被缓存。那么文件存储被调用来保持这些消息。File_store以一次性至少 max_write_size大小字节的块来保存这些消息。File存储的最后一次写入比max_write_size小；</span></p> <p><span style="font-size:18px;">（16）write_category：写入一个分类下面；</span></p> <p><span style="font-size:18px;">（17）rotate_on_reopen：循环重新打开。</span></p> <p><span style="font-size:18px;">5.network存储配置</span></p> <p><span style="font-size:18px;"> Network存储向其他scribe服务器发送消息。Scribe保持持久的链接打开以至于它能够发送消息。（为了错误信息或者如果下游机器过载，它将重新打开一个链接）。在正常运行的情况下，scribe会基于当前缓存中存在多少条消息等待发送而分批次的发送。（如果scribe备份和缓存消息到本地磁盘，scribe会基于缓存文件大小按块发送消息）</span></p> <p><span style="font-size:18px;">（1）remote_host:发送消息的远程主机的名称或IP地址。</span></p> <p><span style="font-size:18px;">（2）remote_port:在远程主机上的端口。</span></p> <p><span style="font-size:18px;">（3）timeout：socket超时，MS为单位，默认是DEFAULT_SOCKET_TIMEOUT_MS， 在store.h中被设置为5000。</span></p> <p><span style="font-size:18px;">（4）use_conn_pool:yes或者任何其他，默认是false。是否使用连接池代替为每一个远程主机打开的链接。</span></p> <p><span style="font-size:18px;">（5）smc_service：</span></p> <p><span style="font-size:18px;">（6）service_options：</span></p> <p><span style="font-size:18px;">（7）service_cache_timeout：</span></p> <p><span style="font-size:18px;">（8）ignore_network_error：</span></p> <p><span style="font-size:18px;">（9）dynamic_config_type：</span></p> <p><span style="font-size:18px;">6.buffer存储配置</span></p> <p><span style="font-size:18px;"><strong> </strong>这是最常用的一种store。该store中包含两个子store，其中一个是primary store，另一个是secondary store。日志会优先写到primary store中，如果primary store出现故障，则scribe会将日志暂存到secondary store中，待primary store恢复性能后，再将secondary store中的数据拷贝到primary store中。其中，secondary store仅支持两种store，一个是file，另一个是null。</span></p> <p><span style="font-size:18px;">（1）max_queue_length:默认2,000,000条消息。如果在队列中的消息数量超过了这个值，buffer存储将切换写入secondary store。</span></p> <p><span style="font-size:18px;">（2）buffer_send_rate:默认值是1。决定每一次check_interval内，多少次从secondary store读出一组消息并且发送到primary store中。</span></p> <p><span style="font-size:18px;">（3）retry_interval:默认是300秒。在写primary store失败以后等待多长时间重新发送到primary store。</span></p> <p><span style="font-size:18px;">（4）retry_interval_range：默认是60秒。将在指定retry_interval区间内随机的选择一个重新发送时间区间。</span></p> <p><span style="font-size:18px;">（5）replay_buffer:取值yes/no，默认是yes。如果设置为 ‘no’，buffer存储不能从secondary store移除消息并且发送到primary store中去。</span></p> <p><span style="font-size:18px;">7.bucket存储配置</span></p> <p><span style="font-size:18px;"> Bucket存储使用每个带前缀的消息作为key写入到多个文件中去。能够定义一个隐藏的或明确的bucket。定义隐藏的bucket必须要有一个名称是 “bucket” 子bucket，这个子bucket可以是file存储、network存储或者thriftfile存储。</span></p> <p><span style="font-size:18px;">（1）num_buckets：hash进入的bucket个数，默认是1。不能被hash进入任何bucket的消息将被放入一个特别的0号bucket。</span></p> <p><span style="font-size:18px;">（2）bucket_type: 取值是“key_hash”, “key_modulo”, 或者 “random”。</span></p> <p><span style="font-size:18px;">（3）delimiter：必须是1-255之间的ascii代码，否则默认是 ‘:’。第一次出现在消息前缀中的delimiter在‘hash/modulo’中将被用作key。Random不使用这个delimiter。</span></p> <p><span style="font-size:18px;">（4）remove_key:取值yes/no，默认是是no。是否从消息中移除key前缀。</span></p> <p><span style="font-size:18px;">（5）bucket_subdir:如果使用的是一个单独定义的bucket，每一个子目录的名称根据bucket的数量编号生成。</span></p> <p><span style="font-size:18px;">8.null存储配置</span></p> <p><span style="font-size:18px;"> 忽略被给分类的所有消息。没有参数。</span></p> <p><span style="font-size:18px;">9.mutil存储配置</span></p> <p><span style="font-size:18px;"> 一个mutil存储是将所有消息转发到子存储中去的一个存储。一个mutil存储可能有多个名叫“store0”, “store1”, “store2”等等的子存储。</span></p> <p><span style="font-size:18px;"> （1）report_success:取值 “all” or “any”, 默认是 “all”。是否所有substores或任何substores必须成功地记录消息，以报告为成功的消息记录在日志消息</span></p> <p><span style="font-size:18px;">10.thriftfile存储配置</span></p> <p><span style="font-size:18px;"> Thriftfile存储类似于file存储，出了thriftfile存储是用Thrift TFileTransport file存储消息。</span></p> <p><span style="font-size:18px;">（1）file_path:文件路径，默认是“/tmp”。</span></p> <p><span style="font-size:18px;">（2）base_filename：基本文件名称，默认是分类名称。</span></p> <p><span style="font-size:18px;">（3）rotate_period：文件创建周期，取值可以是 “hourly”, “daily”, “never”,或者是name[后缀], “never”是默认值，决定多长时间创建一个新文件，特别的后缀“s”, “m”, “h”, “d”, “w”分别代表second（默认）、minutes、hours、days和weeks。</span></p> <p><span style="font-size:18px;">（4）rotate_hour：取值0-23，默认是1，如果rotate_period取值是daily，这个就决定每天的什么时候创建新文件。</span></p> <p><span style="font-size:18px;">（5）rotate_minute：取值0-59，默认是15，如果rotate_period设置为daily或hourly，这个就决定以一个小时过后多久创建一个新文件。</span></p> <p><span style="font-size:18px;">（6）max_size：文件上限大小，默认1,000,000,000多字节，决定在轮流创建一个新文件以前一个文件能够增长到多大。</span></p> <p><span style="font-size:18px;">（7）fs_type:文件类型，当前只支持“std”，“std”为默认值。</span></p> <p><span style="font-size:18px;">（8）chunk_size：默认值是0，如果一个块大小被指定，在文件内没有消息能够跨越块的边界，除非有消息的大小超过块的大小。</span></p> <p><span style="font-size:18px;">（9）create_symlink：yes或其他任何，默认是yes。如果为yes，将保持一个符号链接指向最近一个被写入的文件。</span></p> <p><span style="font-size:18px;">（10）flush_frequency_ms：毫秒单位，如果没有指定就使用默认300的 TFileTransport。决定一步到thrift file磁盘时间的频率。</span></p> <p><span style="font-size:18px;">（11）msg_buffer_size:以字节为单位，如果没有指定将使用默认为0的TFileTransport。如果非零，将拒绝写入比这个值大的。</span></p> <p><span style="color:#000000;font-size:18px;">11.总结：今天把基本上所有配置文件选项的意义简单介绍一下，要深入理解这些参数的意义还必须要深入到源代码去，还在scribe的源代码比较简单，很快就可以全面的深入的分析了，下一篇就自己分析的一些简单流程介绍一下，需要深入到还是直接源代码最好。源码之前，了无密码！<br /> </span></p>