1.场景,在windows浏览器中打开Linux环境下的jupyter notebook。Jupyter notebook开启远程服务,Spark、python计算环境在Linux服务器中,而工作环境是windows。在windows下使用jupyter notebook环境进行开发、调试。涉及的配置文件Github源码
场景如下
通过windows登录Linux服务器的Jupyter notebook(开发环境都在Linux中),windows中只需有个浏览器即可。
然后在windows下开发、调试
开始达到上述需求。
2.安装python和jupyter notebook(spark部署略可参考我其他博文,无spark也没关系)
xiaolei@ubuntu:~$ sudo apt install python
xiaolei@ubuntu:~$ sudo pip install jupyter
3.配置Linux服务器上的jupyter notebook(重要配置文件Github源码)
3.1.生成jupyter notebook配置文件jupyter官方配置
#主要.jupyter 是隐藏文件,可以用ls -a 查看
#以下命令生成文件在 /home/xiaolei/.jupyter/jupyter_notebook_config.py
xiaolei@ubuntu:~$ jupyter notebook --generate-config
3.2.为jupyter notebook生成密码
xiaolei@ubuntu:~$ python
from notebook.auth import passwd
: from notebook.auth import passwd
: passwd()
Enter password:
Verify password:
Out[2]: 'sha1:bcd259ccf...<你自己生成的hash密码>'
3.3.生成mycert.pem和mykey.key(SSL和HTTPS加密)
#以下命令生成文件在 /home/xiaolei/.jupyter/jupyter_notebook_config.py
xiaolei@ubuntu:~$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mykey.key -out mycert.pem
3.4.通过certfile安全的模式开启jupyter notebook。
xiaolei@ubuntu:~$ jupyter notebook --certfile=/home/xiaolei/.jupyter/mycert.pem --keyfile /home/xiaolei/.jupyter/mykey.key
3.5.配置/home/xiaolei/.jupyter/jupyter_notebook_config.py
a.增加以下内容或者找到原内容去掉#修改
xiaolei@ubuntu:~$ vim /home/xiaolei/.jupyter/jupyter_notebook_config.py
b.修改或增加内容如下里面的/home/xiaolei根据自己文件定
# Set options for certfile, ip, password, and toggle off
# browser auto-opening
c.NotebookApp.certfile = u'/home/xiaolei/.jupyter/mycert.pem'
c.NotebookApp.keyfile = u'/home/xiaolei/.jupyter/mykey.key'
# Set ip to '*' to bind on all interfaces (ips) for the public server
c.NotebookApp.ip = '*'
c.NotebookApp.password = u'sha1:bcd259ccf...<你自己生成的hash密码>'
c.NotebookApp.open_browser = False
# It is a good idea to set a known, fixed port for server access
c.NotebookApp.port = 9999
4.在windows的chrome中登录并开发、调试程序
4.1.打开 jupyter notebook
a.在Linux服务器中以不打开本地浏览器中
xiaolei@ubuntu:~$ jupyter notebook --no-browser
b.在windows中的chrome浏览器(若IE,我试着不行)打开https://192.168.193.131:9999
此时输入你设置的密码如123456
c.写个简单的测试 1+1 (Shift+Enter执行)
如果没有安装Spark,那么到这里就完成配置了,已经可以在windows中开发Linux环境下的程序了!
4.2.打开 spark的 jupyter notebook
a.在Linux服务器中以不打开本地浏览器中(需正确部署了spark)
xiaolei@ubuntu:~$ PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS='notebook' /opt/spark-2.0.2-bin-hadoop2.7/bin/pyspark
b.在windows下chrome浏览器登入配置文件Github源码(IE不可使)https://192.168.193.131:9999
配置文件Github源码