Skip to content

2022

机器学习实践:Hive使用虚拟环境

之前受限于hive机器上安装的python版本,只能使用py2.7默认环境,也没法安装包,导致很多复杂逻辑没法放到集群上跑。工作中需要用到scipy,redis等工具,也要使用py3.7以上的新功能。

尝试1

曾经将单独的包打包成zip后缀,打包后可以直接import进来,但是发现并不是所有的包都能跑通。一些依赖底层c库或者系统的,就会报错,比如numpy,scipy。成功的案例是redis和pymysql,见曾经的方案

尝试2

venv打包后的python并没有包含需要的全部库,venv.zip/bin/python无法运行。

尝试3

今天参考了几篇文献后,发现可以借助conda,由conda封装后,依赖的各种库都可以原封不动的使用,打的zip包可以无缝在各个linux系统中使用

1、新方案

创建conda环境