微软开源用于Spark的深度学习库MMLSpark

jopen 7年前
   <p><img src="https://simg.open-open.com/show/218ba00c425da77e72701a963a3ae800.png" alt="微软开源用于Spark的深度学习库MMLSpark" width="150" height="39" /></p>    <p>微软开源了 <a href="/misc/goto?guid=4959011401282959224">MMLSpark</a>，用于用于 <a href="/misc/goto?guid=4958837490419076535">Apache Spark</a> 的的深度学习库。MMLSpark 可以与<a href="/misc/goto?guid=4958983746401317478">微软认知工具包</a>和 <a href="/misc/goto?guid=4959011401487774812">OpenCV</a> 完美整合。</p>    <p>微软发现，虽然 <a href="/misc/goto?guid=4958973589828059487">SparkML</a> 可以建立可扩展的机器学习平台，绝大多数开发者的精力都耗在了调用底层 API 上。MMLSpark 旨在简化 PySpark 中的重复性工作。</p>    <p>以 UCI 的<a href="/misc/goto?guid=4959011401646510335">成人收入普查数据集</a>举例，使用其他项目预测收入：</p>    <p><img alt="微软开源用于Spark的深度学习库MMLSpark" src="https://simg.open-open.com/show/022925ede3ef5277db226046e0dc6e7f.png" width="390" height="160" /></p>    <p>        如果直接使用 SparkML，每一列都需要单独处理，整理为正确的数据类型；在 MMLSpark 中只需要两行代码：</p>    <blockquote>    model = mmlspark.TrainClassifier (model=LogisticRegression ()， labelCol=” income”) .fit (trainData) predictions = model.transform (testData)   </blockquote>    <p>        深度神经网络（DNN）在图像识别和语音识别等领域不逊于人类，但是 DNN 模型的训练需要专业人员方可进行，与 SparkML 的整合也十分不易。MMLSpark 提供了方便的 Python API，可以方便地训练 DNN 算法。MMLSpark 可以方便地使用现有模型进行分类任务、在分布式 GPU 节点上进行训练、以及使用 OpenCV 建立可扩展的图像处理管线。</p>    <p>        以下 3 行代码可以从微软认知工具集中初始化一个 DNN 模型，从图像中抽取特征：</p>    <blockquote>    cntkModel = CNTKModel () .setInputCol (“images”) .setOutputCol (“features”) .setModelLocation (resnetModel) .setOutputNode (“z.x”) featurizedImages = cntkModel.transform (imagesWithLabels) .select ([‘labels’，’features’]) model = TrainClassifier (model=LogisticRegression (),labelCol=”labels”) .fit (featurizedImages)   </blockquote>    <p>        MMLSpark 已经发布到 <a href="/misc/goto?guid=4959011401752471891">Docker Hub</a> 上，使用下面的命令即可在单机部署：</p>    <blockquote>    docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark   </blockquote>    <p>        MMLSpark 使用 MIT 协议授权。</p>    <p>        查看英文原文：</p>    <p>        <a href="/misc/goto?guid=4959011401282959224">https://github.com/Azure/mmlspark</a></p>    <p>        <a href="/misc/goto?guid=4959011401886780784">https://blogs.technet.microsoft.com/machinelearning/2017/06/07/announcing-microsoft-machine-learning-library-for-apache-spark/</a></p>    <p>来自: <a href="/misc/goto?guid=4959011401995285233" id="link_source2">InfoQ</a></p>