python都会涉及到哪些流行框架,取决于你的技术工种是什么。
比如python流行的web框架有:Django、TurboGears、web2py、Flask、Bottle等;
python流行的爬虫框架有:Scrapy、PySpider、Crawley、Portia、Newspaper、Beautiful Soup、Grab、Cola、Python-goose、mechanize等;
常见机器学习库
1)Scikits_Learn:
Scikits-learn,又称为sk-learn,是一个基于Numpy与SciPy的Python库。Sk-learn被认为是用于处理复杂数据的最优秀的机器学习库之一。它包含了大量用于实现传统机器学习和数据挖掘任务的算法,比如数据降维、分类、回归、聚类、以及模型选择等。
随着时间的发展,sk-learn不断演进。其中包括它加入了交叉验证功能,提供了使用多个衡量指标的能力。许多的训练方法都得到了一定的改进,如逻辑回归、近邻算法(KNN)等。
2)LightGBM:
Gradient Boosting是最好和最受欢迎的机器学习库之一,它通过使用重新定义的基本模型和决策树来帮助开发人员构建新算法。 因此,有专门的库被设计用于快速有效地实现该方法。这些库包括LightGBM, XGBoost, 和CatBoost。这些库互为竞争对手,同样使用了几乎相同的思路来解决一个共同问题。这些库都提供了高度可扩展,优化和快速的梯度增强实现,使其在机器学习开发人员中很受欢迎。 因为大多数机器学习开发人员通过使用这些算法赢得了机器学习竞赛。
6、常见深度学习库
1)tensorflow:
Tensorflow把神经网络运算抽象成运算图(Graph),一个运算图中包含了大量的张量(Tensor)运算(而张量实际上就是N维数据的集合)。神经网络运算的本质是通过张量运算来拟合输入张量与输出张量之间的映射关系。
并行运算是Tensorflow的主要优势之一。也就是说你可以通过代码设置来分配你的CPU、GPU计算资源来实现并行化的图运算。
Tensorflow使用了类似XLA(Accelerated Linear Algebra/加速线性代数)等技术对运算过程进行过优化,以保证其能够灵活地调用计算资源的同时保持高效的运算速度。
Tensorflow框架中所有的工具库都是用C或者C++来编写,但它提供了用Python来编写的接口封装。事实上,你用Python编写的神经网络模型最终会调用基于C和C++编写的Tensorflow内核来执行运算。
2)Keras:
Keras本质上是对Tensorflow、Theano等基础框架作进一步的封装,以提供统一的API来简化神经网络的构建与训练。如果你打算以Tensorflow作为后端基础框架,则必须遵循以下架构图:
keras提供了非常简明的机制来表达神经网络结构,也提供了许多工具用于神经网络模型的编译、数据的处理、以及网络结构的可视化等等。
再有,Keras提供了许多预处理的数据集,比如MNIST,和预训练的模型,比如VGG、Inception、 ResNet等等。
3)Theano:
Theano 的工作原理与 Tensorflow 相似,但要比Tensorflow 低效。因此它不适用于生产环境。
4)PyTorch:
PyTorch是最大的深度学习库,允许开发人员通过加速GPU执行张量计算,创建动态计算图,并自动计算梯度。 除此之外,PyTorch还提供丰富的API,用于解决与神经网络相关的应用问题。