教程 如何利用C 搭建个人专属的TensorFlow

　　原标题:教程 如何利用C 搭建个人专属的TensorFlow 选自GitHub 机器编译 参

　　作者简单用 TensorFlow 中的计算图解释了机器学习的背后原理，然后列举了数个使用 C++实现 TensorFlow 的好处，如线性代数库的使用，运算符重载等等。

　　如果你的是计算机科学（CS）的人的话，你可能听说过这个短语「不要自己动手____」几千次了。它包含了加密、标准库、解析器等等。我想到现在为止，它也应该包含了机器学习库（ML library）。

　　不管现实是怎么样的，这个震撼的课程都值得我们去学习。人们现在把 TensorFlow 和类似的库当作理所当然了。他们把它看作黑盒子并让它运行起来，但是并没有多少人知道在这背后的运行原理。这只是一个非凸（Non-convex）的优化问题！请停止对代码无意义的胡搞——仅仅只是为了让代码看上去像是正确的。

　　在 TensorFlow 的代码里，有一个重要的组件，允许你将计算串在一起，形成一个称为「计算图」的东西。这个计算图是一个有向图 G=(V,E)，其中在某些节点处 u1,u2,…,un,v∈V，和 e1,e2,…,en∈E，ei=(ui,v)。我们知道，存在某种计算图将 u1,…,un 映射到 vv。

　　这对于评估算术表达式非常有用，我们能够在计算图的汇点下找到结果。汇点是类似 v∈V，∄e=(v,u) 这样的顶点。从另一方面来说，这些顶点从自身到其他顶点并没有定向边界。同样的，输入源是 v∈V，∄e=(u,v)。

　　微分是 Tensorflow 中许多模型的核心需求，因为我们需要它来运行梯度下降。每一个从高中毕业的人都应该知道微分的意思。如果是基于基础函数组成的复杂函数，则只需要求出函数的导数，然后应用链式。

　　所以现在请记住我们运行计算图时用的是有向无环结构（DAG/Directed Acyclic Graph），还有上一个例子用到的链式。正如下方所示的形式：

　　这样它看起来就像链式了！我们需要沿着径把导数相乘以得到最终的结果。这是一个计算图的例子：

　　没错，为了在两种径都支持拓扑排序，我们需要包含一套父组一套子组，而汇点是另一个方向的来源。反之亦然。

　　在开学前，Minh Le 和我开始设计这个项目。我们决定使用特征库后端（Eigen library backend）进行线性代数运算，这个库有一个叫做 MatrixXd 的矩阵类，用在我们的项目中：

　　在这里，我们使用了一个叫「pImpl」的语法，意思是「执行的指针」。它有很多用途，比如接口的解耦实现，以及当在堆栈上有一个本地接口时实例化内存堆上的东西。「pImpl」的一些副作用是微弱的减慢运行时间，但是编译时间缩短了很多。这允许我们通过多个函数调用/返回来保持数据结构的持久性。像这样的树形数据结构应该是持久的。

　　在实际过程中，C++可能并不适合做这类事情。我们可以在像「Oaml」这样的函数式语言中花费更少的时间开发。现在我明白为什么「Scala」被用于机器学习中，主要就是因为「Spark」。然而，使用 C++有很多好处。

　　举例来说，我们可以直接使用一个叫「Eigen」的 TensorFlow 的线性代数库。这是一个不假思索就被人用烂了的线性代数库。有一种类似于我们的表达式树的味道，我们构建表达式，它只会在我们真正需要的时候进行评估。然而，使用「Eigen」在编译的时间内就能决定什么时候使用模版，这意味着运行的时间减少了。我对写出「Eigen」的人抱有很大的，因为查看模版的错误几乎让我眼瞎！

　　这个特征库非常的强大，这就是它作为 TensortFlow 主要后端之一的原因，即除了这个慵懒的评估技术之外还有其它的优化。

　　在 Java 中开发这个库很不错——因为没有 shared_ptrs、unique_ptrs、weak_ptrs；我们得到了一个真实的，有用的图形计算器（GC=Graphing Calculator）。这大大节省了开发时间，更不必说更快的执行速度。然而，Java 不允许操作符重载，因此它们不能这样：

　　顺便说一下，是实际使用的代码。是不常的漂亮？我想说的是这甚至比 TensorFlow 里的 Python 封装还更优美！我只是想表明，它们也是矩阵。

　　在 Java 中，有一连串的 add(), divide() 等等常难看的。更重要的是，这将让用户更多的关注在「PEMDAS」上，而 C++的操作符则有非常好的表现。

　　在这个库中，可以确定的是，TensorFlow 没有定义清晰的 API，或者有但我不知道。例如，如果我们只想训练一个特定子集的权重，我们可以只对我们感兴趣的特定来源做反向。这对于卷积神经网络的迁移学习非常有用，因为很多时候，像 VGG19 这样的大型网络可以被截断，然后附加一些额外的层，这些层的权重使用新领域的样本来训练。

　　在 Python 的 TensorFlow 库中，对虹膜数据集进行 10000 个「Epochs」的训练以进行分类，并使用相同的超参数，我们有：

　　令人惊讶的是，Scikit 是所有这些中最快的。这可能是因为我们没有做庞大的矩阵乘法。也可能是 TensorFlow 需要额外的编译步骤，如变量初始化等等。或者，也许我们不得不在 python 中运行循环，而不是在 C 中（Python 循环真的非常糟糕！）我自己也不是很确定。我完全明白这绝不是一种全面的基准测试，因为它只在特定的情况下应用了单个数据点。然而，这个库的表现并不能代表当前最佳，所以希望各位读者和我们共同完善。

　　推荐：