用 LFS 做极简高效的流媒体服务

jopen 9年前

LFS 非常非常快的文件系统，可以同时存储海量大文件和小文件，高并发。这里用来实现一个极简高效的流媒体服务。并详细部署一个图片服务器。但，LFS 不单用来存储此类文件，其拥有 nosql 的特性，事实上，我喜欢用来存储分词索引（存储会不断增长的数据，如：一个词汇对应许多的记录 ID）。

示例可在：github git@osc 找到，包含一个详细的图片服务器

图片服务演示（简单部署了 php 的服务）：

浏览图片：http://lfs2-ikcourage.myalauda.cn/testimage/image.php?type=read&id=1

上传图片：http://lfs2-ikcourage.myalauda.cn/testimage/upload.php （图片会自动周期性删除）

先做一个音乐、视频、图片等媒体文件的上传和下载示例。都只需要一行。

FileInputStream inputStream = new FileInputStream(file);  fileId = LFS_Stream.writeStream(FILE_NAME, fileId, inputStream, file.length());

OK，一个媒体文件上传成功后会返回一个文件 ID。

即使是一个比较大的视频，比如大于 10G，也依然只有这一行代码，并不需要做切片存储，并且无需担心内存使用。（大文件的上传也变的如此简单）

下载：

//读到 readStream 中  LFS_Stream.readStream(FILE_NAME, fileId, readStream);

没错，就是这一行啦，根据文件 ID 读取文件，把数据通知给 readStream。

那么，我们来看看 readStream 做了什么。（这就是一个完整的媒体服务的示例）

IReadStream readStream = new IReadStream() {      public boolean init(long fileId, int size, long sizeTotal, long sizeTotalRead, long offset) {          response.setIntHeader("Content-Length", (int)sizeTotalRead);          response.setHeader("Cache-Control", "max-age=604800");          response.setIntHeader("Etag", 0);          return true;      }        //参数好多啊，不要被吓到了，只有前两个是你需要用的      //其他的只是为了避免全局变量而已（如果需要的话，所幸，绝大多数场景都不会需要）      public boolean parseData(byte[] b, int bytesAvalibale, int size, long sizeTotal, long sizeTotalRead, long sizeTotalReaded, long offset) {          try {              //这里应实现自己的数据输出，比如输出到 http              response.getOutputStream().write(b, 0, bytesAvalibale);              return true;          } catch (Exception e) {}          return false;      }  };

init 只会在 parseData 前调用一次，用来获取文件的真实大小，比如我们可能需要为 http 添加 Content-Length 的头等。

parseData 每次都会调用，把缓冲中的数据输出到 http 的输出流中，bytesAvalibale 是缓冲中的有效字节大小。

到这里你会发现，parseData 中是流式输出数据的，所以这保证了音乐、视频等流媒体的流畅度，并且也有效降低了服务器的内存占用。因为缓冲的大小是非常小的，你可以理解为 Socket 的缓冲大小，并且可调节，默认大小 2K（注：不是带宽的大小，这是一个远高于带宽的值）。

这意味着一台服务器，即使提供视频服务也游刃有余。1W 人同时观看视频只需要不到 20M 的内存（资源过剩的浪费）。

既然是流媒体服务（图片也是，在浏览器中快速刷新，会看到图片一点点的渲染），那么断点下载很重要，断点上传也很重要。

断点下载：

//多了两个参数  LFS_Stream.readStream(String fileName,      long fileId,      IReadStream readStream,      long offset,      long sizeTotalRead);

还是那一行，只不过多了一个偏移和读取大小而已，很简单不是么。

断点上传：

//多了两个参数  LFS_Stream.writeStream(String fileName,      long fileId,      InputStream inputStream,      long sizeTotalWrite,      long offset,      long sizeTotal);

sizeTotalWrite 是要写的大小，sizeTotal 是文件的总大小。

这句话的含义是：把文件的总大小设置为 sizeTotal，并且在 offset 处写入 sizeTotalWrite 大小的内容。

上传下载就是如此的简单。

    LFS 的启动

    首先从 github 获取一个 LFS

    然后以守护模式运行 LFS --dir [存储目录] --daemon

    这就好了

最后，如果需要自定义文件名的话，可以使用 LFS 的索引（即：key, value）。参考上一篇内容。

来自：http://my.oschina.net/courage/blog/502340

用 LFS 做极简高效的流媒体服务

相关经验

目录