标签归档：distributed

github

LightGBM-基于决策树算法的快速、分布式、高性能梯度提升框架，用于排序、分类和许多其他机器学习任务

LightGBM是一个使用基于树的学习算法的梯度提升框架。它设计为分布式且高效，具有以下优势：

  • 更快的培训速度和更高的效率
  • 降低内存使用率
  • 更高的精确度
  • 支持并行、分布式和GPU学习
  • 能够处理大规模数据

有关更多详情，请参阅Features

得益于这些优势，LightGBM在许多领域得到了广泛的应用winning solutions机器学习竞赛的

Comparison experiments公开数据集上的数据显示，LightGBM在效率和准确性上都优于现有的Boosting框架，并且内存消耗明显较低。更重要的是,distributed learning experiments展示了LightGBM可以通过在特定设置中使用多台机器进行训练来实现线性加速

入门和文档

我们的主要文档在https://lightgbm.readthedocs.io/并且是从该存储库生成的。如果您是LightGBM的新手，请关注the installation instructions在那个网站上

接下来，您可能想要阅读：

投稿人文档：

新闻

请参阅更改日志，地址为GitHub releases页面

一些旧的更新日志位于Key Events页面

外部(非官方)存储库

FLAML(用于超参数优化的AutoML库)：https://github.com/microsoft/FLAML

Optuna(超参数优化框架)：https://github.com/optuna/optuna

朱莉娅-套餐：https://github.com/IQVIA-ML/LightGBM.jl

JPMML(Java PMML转换器)：https://github.com/jpmml/jpmml-lightgbm

Treite(用于高效部署的模型编译器)：https://github.com/dmlc/treelite

lLeaf(基于LLVM的模型编译器，用于高效推理)：https://github.com/siboehm/lleaves

Hummingbird(将模型编译器转换为张量计算)：https://github.com/microsoft/hummingbird

CuML林推理库(GPU加速推理)：https://github.com/rapidsai/cuml

daal4py(英特尔CPU加速推理)：https://github.com/IntelPython/daal4py

m2cgen(适用于各种语言的模型应用程序)：https://github.com/BayesWitnesses/m2cgen

树叶(GO模型施加器)：https://github.com/dmitryikh/leaves

ONNXMLTools(ONNX转换器)：https://github.com/onnx/onnxmltools

Shap(模型输出解释器)：https://github.com/slundberg/shap

Shapash(模型可视化和解释)：https://github.com/MAIF/shapash

dtreeviz(决策树可视化和模型解释)：https://github.com/parrt/dtreeviz

MMLSpark(电光上的LightGBM)：https://github.com/Azure/mmlspark

Kubeflow光顺(Kubernetes上的LightGBM)：https://github.com/kubeflow/fairing

Kubeflow运算符(Kubernetes上的LightGBM)：https://github.com/kubeflow/xgboost-operator

ML.NET(.NET/C#-Package)：https://github.com/dotnet/machinelearning

LightGBM.NET(.NET/C#-Package)：https://github.com/rca22/LightGBM.Net

红宝石：https://github.com/ankane/lightgbm

LightGBM4j(Java高级绑定)：https://github.com/metarank/lightgbm4j

lightgbm-rs(铁锈装订)：https://github.com/vaaaaanquish/lightgbm-rs

MLflow(实验跟踪、模型监控框架)：https://github.com/mlflow/mlflow

{treesnip}(r{parsnip}-兼容接口)：https://github.com/curso-r/treesnip

{mlr3learners.lightgbm}(r{mlr3}-兼容接口)：https://github.com/mlr3learners/mlr3learners.lightgbm

支持

如何做出贡献

检查CONTRIBUTING页面

Microsoft开放源代码行为准则

本项目采用了Microsoft Open Source Code of Conduct有关更多信息，请参阅Code of Conduct FAQ或联系方式opencode@microsoft.com如有任何其他问题或评论

参考文献

柯国林，齐蒙，托马斯·芬利，王泰峰，魏晨，马卫东，叶启伟，刘铁岩。“LightGBM: A Highly Efficient Gradient Boosting Decision Tree“神经信息处理系统的进展”(NIPS 2017)，第3149-3157页。

齐蒙，柯国林，王泰峰，魏晨，叶启伟，马志明，刘铁岩。“A Communication-Efficient Parallel Algorithm for Decision Tree“神经信息处理系统的进展”29(NIPS 2016)，第1279-1287页

张欢，四思，谢楚瑞。“GPU Acceleration for Large-scale Tree Boosting“.SysML大会，2018年

注意事项：如果您在GitHub项目中使用LightGBM，请添加lightgbm在requirements.txt

许可证

这个项目是根据麻省理工学院的许可证条款授权的。看见LICENSE有关更多详细信息，请参阅

github

Ray 一个开放源码框架，为构建分布式应用程序提供简单、通用的API

Ray为构建分布式应用程序提供了简单、通用的API，为构建分布式应用程序提供简单、通用的API。Ray与RLlib(一个可伸缩的强化学习库)和Tune(一个可伸缩的超参数调整库)可以打包在一起。

Ray附带以下库，用于加速机器学习工作负载：

  • Tune：可伸缩的超参数调整
  • RLlib：可扩展强化学习
  • RaySGD：分布式培训包装器
  • Ray Serve：可扩展、可编程的服务

也有很多community integrations和Ray在一起，包括Dask，MARS，Modin，Horovod，Hugging Face，Scikit-learn，以及其他。请查看full list of Ray distributed libraries here

使用以下选项安装Ray：pip install ray有关夜间车轮的信息，请参阅Installation page

快速入门

并行执行Python函数

import ray
ray.init()

@ray.remote
def f(x):
    return x * x

futures = [f.remote(i) for i in range(4)]
print(ray.get(futures))

要使用Ray的演员模型，请执行以下操作：

import ray
ray.init()

@ray.remote
class Counter(object):
    def __init__(self):
        self.n = 0

    def increment(self):
        self.n += 1

    def read(self):
        return self.n

counters = [Counter.remote() for i in range(4)]
[c.increment.remote() for c in counters]
futures = [c.read.remote() for c in counters]
print(ray.get(futures))

Ray程序可以在一台计算机上运行，也可以无缝扩展到大型群集。要在云中执行上述Ray脚本，只需下载this configuration file，然后运行：

ray submit [CLUSTER.YAML] example.py --start

阅读有关以下内容的更多信息launching clusters

调整快速入门

Tune是一个用于任何规模的超参数调优的库

要运行此示例，您需要安装以下软件：

$ pip install "ray[tune]"

此示例运行并行格网搜索以优化示例目标函数

from ray import tune


def objective(step, alpha, beta):
    return (0.1 + alpha * step / 100)**(-1) + beta * 0.1


def training_function(config):
    # Hyperparameters
    alpha, beta = config["alpha"], config["beta"]
    for step in range(10):
        # Iterative training function - can be any arbitrary training procedure.
        intermediate_score = objective(step, alpha, beta)
        # Feed the score back back to Tune.
        tune.report(mean_loss=intermediate_score)


analysis = tune.run(
    training_function,
    config={
        "alpha": tune.grid_search([0.001, 0.01, 0.1]),
        "beta": tune.choice([1, 2, 3])
    })

print("Best config: ", analysis.get_best_config(metric="mean_loss", mode="min"))

# Get a dataframe for analyzing trial results.
df = analysis.results_df

如果安装了TensorBoard，则自动可视化所有试验结果：

tensorboard --logdir ~/ray_results

RLlib快速入门

RLlib是构建在Ray之上的用于强化学习的开源库，它为各种应用程序提供了高可伸缩性和统一的API

pip install tensorflow  # or tensorflow-gpu
pip install "ray[rllib]"
import gym
from gym.spaces import Discrete, Box
from ray import tune

class SimpleCorridor(gym.Env):
    def __init__(self, config):
        self.end_pos = config["corridor_length"]
        self.cur_pos = 0
        self.action_space = Discrete(2)
        self.observation_space = Box(0.0, self.end_pos, shape=(1, ))

    def reset(self):
        self.cur_pos = 0
        return [self.cur_pos]

    def step(self, action):
        if action == 0 and self.cur_pos > 0:
            self.cur_pos -= 1
        elif action == 1:
            self.cur_pos += 1
        done = self.cur_pos >= self.end_pos
        return [self.cur_pos], 1 if done else 0, done, {}

tune.run(
    "PPO",
    config={
        "env": SimpleCorridor,
        "num_workers": 4,
        "env_config": {"corridor_length": 5}})

Ray Serve快速入门

Ray Serve是一个构建在Ray之上的可伸缩的模型服务库。它是：

  • 框架不可知性：使用相同的工具包提供各种服务，从使用PyTorch或TensorFlow&Kera等框架构建的深度学习模型到Scikit-Learning模型或任意业务逻辑
  • Python优先：在纯Python中配置声明性服务的模型，不需要YAML或JSON配置
  • 以性能为导向：启用批处理、流水线和GPU加速以提高模型的吞吐量
  • 原生合成：允许您通过将多个模型组合在一起来驱动单个预测来创建“模型管道”
  • 水平可扩展：随着您添加更多的机器，Serve可以线性扩展。使您的ML支持的服务能够处理不断增长的流量

要运行此示例，您需要安装以下软件：

$ pip install scikit-learn
$ pip install "ray[serve]"

此示例Run服务于一个SCRICKIT-LEARN梯度增强分类器

from ray import serve
import pickle
import requests
from sklearn.datasets import load_iris
from sklearn.ensemble import GradientBoostingClassifier

# Train model
iris_dataset = load_iris()
model = GradientBoostingClassifier()
model.fit(iris_dataset["data"], iris_dataset["target"])

# Define Ray Serve model,
class BoostingModel:
    def __init__(self):
        self.model = model
        self.label_list = iris_dataset["target_names"].tolist()

    def __call__(self, flask_request):
        payload = flask_request.json["vector"]
        print("Worker: received flask request with data", payload)

        prediction = self.model.predict([payload])[0]
        human_name = self.label_list[prediction]
        return {"result": human_name}


# Deploy model
client = serve.start()
client.create_backend("iris:v1", BoostingModel)
client.create_endpoint("iris_classifier", backend="iris:v1", route="/iris")

# Query it!
sample_request_input = {"vector": [1.2, 1.0, 1.1, 0.9]}
response = requests.get("http://localhost:8000/iris", json=sample_request_input)
print(response.text)
# Result:
# {
#  "result": "versicolor"
# }

更多信息

较旧的文档：

参与其中

github

CNTK-微软认知工具包(CNTK)，一个开源的深度学习工具包

CNTK

聊天 Windows生成状态 Linux构建状态

Microsoft认知工具包(https://cntk.ai)是一个统一的深度学习工具包，它通过有向图将神经网络描述为一系列计算步骤。在这个有向图中，叶节点表示输入值或网络参数，而其他节点表示对其输入的矩阵运算。CNTK允许用户轻松地实现和组合流行的模型类型，例如前馈DNN、卷积网络(CNN)和递归网络(RNNs/LSTM)。它通过跨多个GPU和服务器的自动区分和并行化实现随机梯度下降(SGD，误差反向传播)学习。自2015年4月以来，CNTK一直在开源许可证下提供。我们希望社区能够利用CNTK的优势，通过开放源码工作代码的交流，更快地分享想法

安装

安装夜间软件包

如果您更喜欢使用MASTER的最新CNTK位，请使用CNTK夜间软件包之一：

学习CNTK

您可以通过以下资源了解更多关于使用和贡献CNTK的信息：

更多信息

免责声明

亲爱的社区：

随着我们对ONNX和ONNX Runtime的持续贡献，我们已经使AI框架生态系统内的互操作变得更容易，并为传统ML模型和深度神经网络访问高性能的跨平台推理功能。在过去的几年里，我们有幸开发了这样的关键开源机器学习项目，包括Microsoft Cognitive Toolkit，它使其用户能够利用整个行业在大规模深度学习方面的进步

今天的2.7版本将是CNTK的最后一个主要版本。我们可能会有一些后续的小版本来修复错误，但这些版本将根据具体情况进行评估。此版本之后没有开发新功能的计划

CNTK 2.7版本完全支持ONNX 1.4.1，我们鼓励那些寻求将其CNTK模型运行化的用户利用ONNX和ONNX Runtime。展望未来，用户可以通过众多支持ONNX的框架继续利用不断发展的ONNX创新。例如，用户可以从PyTorch本机导出ONNX模型，或使用TensorFlow-ONNX转换器将TensorFlow模型转换为ONNX

我们非常感谢自CNTK最初开放源码发布以来多年来我们从贡献者和用户那里得到的所有支持。CNTK使微软团队和外部用户都能够在各种深度学习应用程序中执行复杂而大规模的工作负载，例如该框架的创始人微软语音研究人员在语音识别方面取得的历史性突破

随着ONNX越来越多地被用于为Bing和Office等微软产品提供服务的模型，我们致力于将研究创新与生产的严格要求相结合，以推动生态系统向前发展

最重要的是，我们的目标是使跨软件和硬件堆栈的深度学习创新尽可能开放和可访问。我们将努力将CNTK的现有优势和最新的最新研究成果应用到其他开源项目中，以真正扩大此类技术的应用范围。

怀着感激之情，

–CNTK团队

Microsoft开放源代码行为准则

本项目采用了Microsoft Open Source Code of Conduct有关更多信息，请参阅Code of Conduct FAQ或联系方式opencode@microsoft.com如有任何其他问题或评论

新闻

您可以在以下网站上找到更多新闻the official project feed

2019-03-29CNTK 2.7.0

此版本的亮点

  • 已迁移到适用于Windows和Linux的CUDA 10
  • 在ONNX导出中支持高级RNN环路
  • 以ONNX格式导出大于2 GB的型号
  • 在大脑脚本训练动作中支持FP16

支持CUDA 10的CNTK

CNTK现在支持CUDA 10。这需要更新到Visual Studio 2017 v15.9 for Windows的构建环境

要在Windows上设置生成和运行时环境，请执行以下操作：

要使用docker在Linux上设置构建和运行时环境，请使用Dockerfiles构建Unbuntu 16.04坞站映像here对于其他Linux系统，请参考Dockerfile来设置CNTK的依赖库

在ONNX导出中支持高级RNN环路

带有递归循环的CNTK模型可以通过扫描操作导出到ONNX模型

以ONNX格式导出大于2 GB的型号

要以ONNX格式导出大于2 GB的模型，可使用cntk.Function API：Save(Self，FileName，Format=ModelFormat.CNTKv2，USE_EXTERNAL_FILES_TO_STORE_PARAMETERS=FALSE)，并将‘Format’设置为ModelFormat.ONNX，将Use_External_Files_to_Store_Parameters设置为True。在这种情况下，模型参数保存在外部文件中。使用onnxrun进行模型评估时，导出的模型应与外部参数文件一起使用

2018/11/26
Netron现在支持可视化CNTK v1和CNTK v2.model文件

项目变更日志

2018-09-17CNTK 2.6.0

高效群卷积

对CNTK中的分组卷积实现进行了更新。更新后的实现不再创建分组卷积的子图(使用切片和拼接)，而是直接使用cuDNN7和MKL2017API。这在性能和型号大小方面都改善了体验

例如，对于具有以下属性的单个组卷积OP：

  • 输入张量(C，H，W)=(32,128,128)
  • 输出通道数=32(通道倍增为1)
  • 组=32(深度卷积)
  • 内核大小=(5，5)

此单个节点的比较编号如下：

第一个标题 GPU EXEC。时间(单位为毫秒，平均运行1000次) CPU EXEC。时间(单位为毫秒，平均运行1000次) 模型大小(KB，CNTK格式)
旧实施 9.349 41.921 38
新实施 6.581 9.963 5个
加速/节约近似值 30%近似 65-75%近似 87%

顺序卷积

更新了CNTK中序列卷积的实现。更新后的实现创建单独的顺序卷积层。与规则卷积层不同，该操作还在动态轴(序列)上进行卷积，并将过滤_Shape[0]应用于该轴。更新后的实现支持更广泛的情况，例如序列轴的跨度>1

例如，对一批单通道黑白图像进行顺序卷积。这些图像的高度相同，固定为640，但每个图像的宽度都是可变的。然后，宽度由顺序轴表示。启用填充，宽度和高度的步长均为2

操作员

深度到空间和空间到深度

有一个突破性的变化，那就是深度到空间和空间到深度操作员。这些已经更新，以符合ONNX规范，特别是深度维度在空间维度中作为块放置的排列方式，反之亦然。请参考这两个操作的更新文档示例以查看更改

谭恩美和阿坦

添加了对三角运算的支持Tan和Atan

ELU

添加了对以下各项的支持alphaELU操作中的属性

卷积

更新的自动填充算法Convolution在不影响最终卷积输出值的情况下，在CPU上尽最大努力产生对称填充。此更新增加了MKL API可以覆盖的案例范围，并提高了性能，例如ResNet50

默认参数顺序

有一个突破性的变化，那就是论据属性。默认行为已更新，以Python顺序而不是C++顺序返回参数。这样，它将以与输入到操作中相同的顺序返回参数。如果您仍然希望以C++顺序获取参数，只需覆盖全局选项即可。此更改应仅影响以下操作：Times、TransposeTimes和Gemm(内部)

错误修复

  • 已更新卷积图层的文档，以包括组参数和膨胀参数
  • 添加了改进的分组卷积输入验证
  • 已更新LogSoftMax要使用更稳定的数值实现，请执行以下操作
  • 修复了聚集OP的错误渐变值
  • 添加了对python克隆替换中的“None”节点的验证
  • 添加了卷积中填充通道轴的验证
  • 添加了CNTK本机默认lotusIR记录器，以修复加载某些ONNX型号时出现的“尝试使用DefaultLogger”错误
  • 添加了ONNX TypeStrToProtoMap的正确初始化
  • 更新了python doctest，以处理较新版本号(Version>=1.14)的不同打印格式
  • 当内核中心位于填充的输入单元上时，固定池(CPU)可生成正确的输出值

ONNX

更新

  • 更新了CNTK的ONNX导入/导出以使用ONNX 1.2规范
  • 对如何在导出和导入中处理批次和序列轴进行了重大更新。因此，可以准确地处理复杂场景和边缘情况
  • 更新了CNTK的ONNXBatchNormalizationOP导出/导入到最新规范
  • 将模型域添加到ONNX模型导出
  • 改进了ONNX型号导入和导出期间的错误报告
  • 已更新DepthToSpace和SpaceToDepth操作以匹配ONNX关于如何将深度维度放置为挡路维度的排列规范
  • 添加了对导出的支持alpha中的属性ELUONNX操作
  • 大修是为了Convolution和Pooling导出。与以前不同的是，这些操作不会导出显式Pad在任何情况下都可操作
  • 大修是为了ConvolutionTranspose导出和导入。属性，如output_shape，output_padding，以及pads完全支持
  • 添加了对CNTK的支持StopGradient作为一个禁区
  • 添加了对TOPK操作的ONNX支持
  • 添加了对序列操作的ONNX支持：Sequence.Slice、Sequence.first、Sequence.last、Sequence.duce_sum、Sequence.Reduce_max、Sequence.softmax。对于这些操作，不需要扩展ONNX规范。CNTK ONNX Exporter仅为这些序列操作构建计算等效图
  • 添加了对Softmax操作的完全支持
  • 使CNTK广播运营与ONNX规范兼容
  • 在CNTK ONNX导出器中处理TO_BATCH、TO_SEQUENCE、UNPACK_BATCH、Sequence.Unpack工序
  • 用于导出ONNX测试用例以供其他工具箱运行和验证的ONNX测试
  • 固定的Hardmax/Softmax/LogSoftmax导入/导出
  • 添加了对以下各项的支持SelectOP导出
  • 添加了对多个三角运算的导入/导出支持
  • 更新了对ONNX的CNTK支持MatMul操作
  • 更新了对ONNX的CNTK支持Gemm操作
  • 更新了CNTK的ONNXMeanVarianceNormalizationOP导出/导入到最新规范
  • 更新了CNTK的ONNXLayerNormalizationOP导出/导入到最新规范
  • 更新了CNTK的ONNXPReluOP导出/导入到最新规范
  • 更新了CNTK的ONNXGatherOP导出/导入到最新规范
  • 更新了CNTK的ONNXImageScalerOP导出/导入到最新规范
  • 更新了CNTK的ONNXReduce操作导出/导入到最新规范
  • 更新了CNTK的ONNXFlattenOP导出/导入到最新规范
  • 添加了对ONNX的CNTK支持Unsqueeze操作

错误或次要修复：

  • 更新了LRN OP以匹配ONNX 1.2规范，其中size属性具有直径的语义，而不是半径的语义。添加了LRN内核大小大于通道大小时的验证
  • 已更新Min/Max导入实现以处理各种输入
  • 修复了在现有ONNX模型文件上重新保存时可能出现的文件损坏

网络支持

Cntk.Core.Managed库已正式转换为.Net标准，并在Windows和Linux上支持.Net Core和.Net Framework应用程序。从这个版本开始，.NET开发人员应该能够使用新的.Net SDK样式项目文件(包管理格式设置为PackageReference)恢复CNTK Nuget包

下面的C#代码现在可以在Windows和Linux上运行：

例如，只需在.Net Core应用程序的.csproj文件中添加ItemGroup子句就足够了：>netcoreapp2.1>x64>

错误或次要修复：

  • 修复了Linux上C#string和char到本机wstring和wchar UTF转换的问题
  • 修复了代码库中的多字节和宽字符转换
  • 修复了针对.Net标准打包的Nuget包机制
  • 修复了C#API中值类中的内存泄漏问题，其中在对象销毁时不调用Dispose

杂项

2018-04-16CNTK 2.5.1

使用捆绑包中包含的第三方库(Python轮包)重新打包CNTK 2.5

2018-03-15CNTK 2.5

将探查器详细信息输出格式更改为chrome://tracing

启用逐节点计时。工作示例here

  • 启用探查器时，按节点计时会在探查器详细信息中创建项目
  • Python中的用法：
import cntk as C C.debugging.debug.set_node_timing(True) C.debugging.start_profiler() # optional C.debugging.enable_profiler() # optional #<trainer|evaluator|function> executions <trainer|evaluator|function>.print_node_timing() C.debugging.stop_profiler()

中的Profiler详细信息视图示例chrome://tracing

使用MKL提高CPU推理性能

  • 加速用于Float32的英特尔CPU推理中的一些常见张量运算，特别是对于完全连接的网络
  • 可以通过以下方式打开/关闭cntk.cntk_py.enable_cpueval_optimization()/cntk.cntk_py.disable_cpueval_optimization()

1BitSGD并入CNTK

  • 1BitSGD源代码现已随CNTK许可证(MIT许可证)一起在以下位置提供Source/1BitSGD/
  • 1bitsgd生成目标已合并到现有GPU目标中

新的损耗函数：分层Softmax

  • 感谢@耀诚记的贡献！

具有多个学习者的分布式培训

操作员

  • 已添加MeanVarianceNormalization操作员

错误修复

  • 修复了教程201b中的收敛问题
  • 固定的合用/解合，以支持序列的自由维度
  • 修复了中的崩溃CNTKBinaryFormat跨越扫描边界时的反序列化程序
  • 修正了RNN阶跃函数在标量广播中的形状推断错误
  • 修复了在以下情况下的构建错误mpi=no
  • 通过提高打包阈值和暴露V2中的旋钮来提高分布式训练聚合速度
  • 修复了MKL布局中的内存泄漏
  • 修复了中的错误cntk.convertAPI Inmisc.converter.py，这样可以防止将复杂的网络

ONNX

  • 更新
    • CNTK导出的ONNX型号现在ONNX.checker合规
    • 添加了对CNTK的ONNX支持OptimizedRNNStack操作员(仅限LSTM)
    • 添加了对LSTM和GRU运算符的支持
    • 添加了对实验性ONNX操作的支持MeanVarianceNormalization
    • 添加了对实验性ONNX操作的支持Identity
    • 添加了对导出CNTK的支持LayerNormalization使用ONNX的图层MeanVarianceNormalization操作
  • 错误或次要修复：
    • 轴属性在CNTK的ONNX中是可选的Concat操作员
    • 修复标量ONNX广播中的错误
    • 修复ONNX ConvTranspose运算符中的错误
    • 修复向后兼容性错误LeakyReLu(参数“alpha”恢复为双精度类型)

杂项

  • 添加了新的接口find_by_uid()在……下面cntk.logging.graph

2018-02-28CNTK支持夜间构建

如果您更喜欢使用MASTER提供的最新CNTK位，请使用CNTK夜间软件包之一

或者，您也可以单击相应的构建标记以登录到夜间构建页面

2018-01-31CNTK 2.4

亮点：

  • 已移至CUDA9、cuDNN 7和Visual Studio 2017
  • 删除了Python 3.4支持
  • 添加了Volta GPU和FP16支持
  • 更好的ONNX支持
  • CPU性能改进
  • 更多运营

运营部

  • top_k操作：在正向传递中，它计算沿指定轴的顶部(最大)k值和相应的索引。在后向传递中，梯度分散到顶部k个元素(不在顶部k中的元素获得零梯度)
  • gather操作现在支持轴参数
  • squeeze和expand_dims轻松移除和添加单一轴的操作
  • zeros_like和ones_like运营部。在许多情况下，您可以仅仅依靠CNTK正确地广播一个简单的0或1，但有时您需要实际的张量
  • depth_to_space：将输入张量中的元素从深度维度重新排列到空间块中。此操作的典型用法是实现某些图像超分辨率模型的亚像素卷积
  • space_to_depth：将输入张量中的元素从空间维度重新排列到深度维度。它在很大程度上与DepthToSpace相反
  • sum操作：创建计算输入张量的元素求和的新函数实例
  • softsign操作：创建计算输入张量的元素软符号的新函数实例
  • asinh操作：创建一个新的函数实例，该实例计算输入张量的逐个元素的asinh
  • log_softmax操作：创建计算输入张量的logsoftmax规格化值的新函数实例
  • hard_sigmoid操作：创建计算输入张量的hard_sigmoid归一化值的新函数实例
  • element_and，element_not，element_or，element_xor基于元素的逻辑运算
  • reduce_l1操作：沿提供的轴计算输入张量元素的L1范数
  • reduce_l2操作：沿提供的轴计算输入张量元素的L2范数
  • reduce_sum_square操作：沿提供的轴计算输入张量元素的平方和
  • image_scaler操作：通过缩放图像的各个值来更改图像

ONNX

  • CNTK中对ONNX支持进行了多项改进
  • 更新
    • 更新的ONNXReshape要处理的操作InferredDimension
    • 添加producer_name和producer_versionONNX模型的字段
    • 在两个都不是的情况下处理案件auto_pad也不是pads属性在ONNX中指定Conv操作
  • 错误修复
    • 修复了ONNX中的错误PoolingOP序列化
    • 修复错误以创建ONNXInputVariable只有一个批次轴
    • 对ONNX实施的错误修复和更新Transpose操作以匹配更新的规范
    • 对ONNX实施的错误修复和更新Conv，ConvTranspose，以及Pooling操作以匹配更新的规范

操作员

  • 群卷积
    • 修复了组卷积中的错误。CNTK的输出ConvolutionOP将针对>1的组进行更改。预计在下一版本中将对组卷积进行更优化的实施
    • 更好的分组卷积错误报告Convolution图层

卤化物二元卷积

  • CNTK版本现在可以使用可选Halide要构建的库Cntk.BinaryConvolution.so/dll库，该库可以与netopt模块。该库包含优化的二进制卷积操作符，其性能优于基于Python的二进制卷积操作符。要在内部版本中启用Halide，请下载Halide release并将其设置为HALIDE_PATH开始构建之前的环境变量。在Linux中，您可以使用./configure --with-halide[=directory]来启用它。有关如何使用此功能的详细信息，请参阅How_to_use_network_optimization

有关更多信息，请参阅Release Notes从CNTK Releases page

github

Handson-ml-Jupyter 引导您学习机器学习和深度学习的基础知识

Handson-ml-Jupyter 使用Scikit-Learning和TensorFlow在Python中引导您学习机器学习和深度学习的基础知识。

机器学习笔记本

本项目旨在教您Python中机器学习的基础知识。它包含我的O‘Reilly书中练习的示例代码和解决方案Hands-on Machine Learning with Scikit-Learn and TensorFlow：

警告：这本书现在有一个较新的版本，请查收github.com/ageron/handson-ml2

快速入门

想在不安装任何东西的情况下在线玩这些笔记本吗？

使用以下任一服务

警告：请注意，这些服务提供临时环境：您所做的任何操作都将在一段时间后被删除，因此请确保下载您关心的任何数据

  • 推荐：在以下位置打开此存储库Colaboratory：
  • 或在中打开它Binder：
    • 注意事项：大多数情况下，Binder启动速度很快，工作效果很好，但是当handson-ml更新时，Binder会从头开始创建一个新环境，这可能需要相当长的时间
  • 或在中打开它Deepnote：

只想快速浏览一些笔记本，而不执行任何代码？

使用浏览此存储库jupyter.org’s notebook viewer：

注意事项：github.com’s notebook viewer也可以工作，但速度较慢，并且数学公式并不总是正确显示

要使用Docker映像运行此项目吗？

请阅读Docker instructions

要在您自己的计算机上安装此项目吗？

从安装开始Anaconda(或Miniconda),git，如果您有兼容TensorFlow的GPU，请安装GPU driver，以及相应版本的CUDA和cuDNN(有关详细信息，请参阅TensorFlow的文档)

接下来，通过打开终端并键入以下命令(不要键入第一个命令)来克隆此项目$每行上的符号仅表示这些是终端命令)：

$ git clone https://github.com/ageron/handson-ml.git
$ cd handson-ml

接下来，运行以下命令：

$ conda env create -f environment.yml
$ conda activate tf1
$ python -m ipykernel install --user --name=python3

最后，启动Jupyter：

$ jupyter notebook

如果您需要进一步的说明，请阅读detailed installation instructions

常见问题解答

我应该使用哪个Python版本？

我推荐Python3.7。如果您按照上面的安装说明操作，您将获得该版本。大多数代码都可以与其他版本的Python3一起使用，但有些库还不支持Python3.8或3.9，这就是我推荐Python3.7的原因

当我调用时收到错误消息load_housing_data()

一定要给我打电话fetch_housing_data()在此之前你打电话给我load_housing_data()如果您收到HTTP错误，请确保您运行的代码与笔记本中的代码完全相同(如果需要，请复制/粘贴)。如果问题仍然存在，请检查您的网络配置

我在MacOSX上收到SSL错误

您可能需要安装SSL证书(请参阅此处StackOverflow question)。如果您从官方网站下载了Python，则运行/Applications/Python\ 3.7/Install\ Certificates.command在终端中(更改3.7到您安装的任何版本)。如果使用MacPorts安装Python，请运行sudo port install curl-ca-bundle在终端中

我已经在本地安装了这个项目。如何将其更新到最新版本？

看见INSTALL.md

在使用python时，如何将我的Python库更新到最新版本？

看见INSTALL.md

贡献者

我要感谢所有人who contributed to this project，通过提供有用的反馈、提交问题或提交拉取请求。特别感谢海森·帕克和伊恩·博雷德，他们审阅了每个笔记本，并提交了许多公关，包括在一些练习解决方案上的帮助。还要感谢史蒂文·邦克利和齐恩布拉，他们创造了docker目录，并感谢GitHub用户SuperYorio，他在一些运动解决方案上提供了帮助

github

Tensorflow-一个面向每个人的开源机器学习框架

Documentation

TensorFlow是一个端到端的机器学习开源平台。它有一个由工具、库和社区资源组成的全面、灵活的生态系统，使研究人员能够使用ML推动最先进的技术，开发人员可以轻松地构建和部署基于ML的应用程序

TensorFlow最初是由谷歌机器智能研究组织内谷歌大脑团队的研究人员和工程师开发的，目的是进行机器学习和深度神经网络研究。该系统具有足够的通用性，可以广泛应用于其他领域

TensorFlow提供稳定的Python和C++API，以及不保证向后兼容的其他语言API

订阅untify@tensorflow.org，随时了解最新的版本公告和安全更新。查看所有邮件列表

安装

请参阅PIP包的TensorFlow安装指南，要启用GPU支持，请使用Docker容器，并从源代码构建

要安装当前版本(包括对启用CUDA的GPU卡(Ubuntu和Windows)的支持)，请执行以下操作：

$ pip install tensorflow

此外，还提供了一个较小的仅限CPU的软件包：

$ pip install tensorflow-cpu

要将TensorFlow更新到最新版本，请在上述命令中添加–upgrade标志

夜间二进制文件可用于在PyPI上使用tf-nighly和tf-nighly-cpu包进行测试

尝试您的第一个TensorFlow程序

$ python

>>> import tensorflow as tf
>>> tf.add(1, 2).numpy()
3
>>> hello = tf.constant('Hello, TensorFlow!')
>>> hello.numpy()
b'Hello, TensorFlow!'

有关更多示例，请参阅TensorFlow教程

投稿指南

如果您想对TensorFlow做出贡献，请务必查看贡献指南。该项目遵循TensorFlow的行为准则。通过参与，您应该遵守本守则

我们使用GitHub问题来跟踪请求和错误，有关一般问题和讨论，请参阅TensorFlow讨论，并请将具体问题直接指向Stack Overflow

TensorFlow项目致力于遵守开源软件开发中公认的最佳实践：

连续生成状态

您可以在TensorFlow SIG build社区构建表中找到更多社区支持的平台和配置

官方版本

Build Type Status Artifacts
Linux CPU PyPI
Linux GPU PyPI
Linux XLA TBA
macOS PyPI
Windows CPU PyPI
Windows GPU PyPI
Android
Raspberry Pi 0 and 1 Py3
Raspberry Pi 2 and 3 Py3
Libtensorflow MacOS CPU Status Temporarily Unavailable Nightly Binary Official GCS
Libtensorflow Linux CPU Status Temporarily Unavailable Nightly Binary Official GCS
Libtensorflow Linux GPU Status Temporarily Unavailable Nightly Binary Official GCS
Libtensorflow Windows CPU Status Temporarily Unavailable Nightly Binary Official GCS
Libtensorflow Windows GPU Status Temporarily Unavailable Nightly Binary Official GCS

资源

了解有关TensorFlow社区以及如何做出贡献的更多信息

许可证

Apache License 2.0

有趣好用的Python教程