1.场景,在windows浏览器中打开Linux环境下的jupyter notebook。Jupyter notebook开启远程服务,Spark、python计算环境在Linux服务器中,而工作环境是windows。在windows下使用jupyter notebook环境进行开发、调试。涉及的配置文件Github源码
场景如下
通过windows登录Linux服务器的Jupyter notebook(开发环境都在Linux中),windows中只需有个浏览器即可。
然后在windows下开发、调试
开始达到上述需求。
2.安装python和jupyter notebook(spark部署略可参考我其他博文,无spark也没关系)
xiaolei
@ubuntu:~$ sudo apt install python
xiaolei
@ubuntu:~$ sudo pip install jupyter
3.配置Linux服务器上的jupyter notebook(重要配置文件Github源码)
3.1.生成jupyter notebook配置文件jupyter官方配置
xiaolei
@ubuntu:~$ jupyter notebook --generate-config
3.2.为jupyter notebook生成密码
xiaolei
@ubuntu:~$ python
from notebook.auth
import passwd
:
from notebook.auth
import passwd
: passwd()
Enter password:
Verify password:
Out[
2]:
'sha1:bcd259ccf...<你自己生成的hash密码>'
3.3.生成mycert.pem和mykey.key(SSL和HTTPS加密)
xiaolei
@ubuntu:~$ openssl req -x509 -nodes -days
365 -newkey
rsa:1024 -keyout mykey.key -out mycert.pem
3.4.通过certfile安全的模式开启jupyter notebook。
xiaolei
@ubuntu:~$ jupyter notebook --certfile=
/home/xiaolei/.jupyter/mycert.pem --keyfile /home/xiaolei/.jupyter/mykey.key
3.5.配置/home/xiaolei/.jupyter/jupyter_notebook_config.py
a.增加以下内容或者找到原内容去掉#修改
xiaolei
@ubuntu:~$ vim /home/xiaolei/.jupyter/jupyter_notebook_config.py
b.修改或增加内容如下里面的/home/xiaolei根据自己文件定
c.NotebookApp.certfile =
u'/home/xiaolei/.jupyter/mycert.pem'
c.NotebookApp.keyfile =
u'/home/xiaolei/.jupyter/mykey.key'
c.NotebookApp.ip =
'*'
c.NotebookApp.password =
u'sha1:bcd259ccf...<你自己生成的hash密码>'
c.NotebookApp.open_browser =
False
c.NotebookApp.port =
9999
4.在windows的chrome中登录并开发、调试程序
4.1.打开 jupyter notebook
a.在Linux服务器中以不打开本地浏览器中
xiaolei
@ubuntu:~$ jupyter notebook --no-browser
b.在windows中的chrome浏览器(若IE,我试着不行)打开https://192.168.193.131:9999
此时输入你设置的密码如123456
c.写个简单的测试 1+1 (Shift+Enter执行)
如果没有安装Spark,那么到这里就完成配置了,已经可以在windows中开发Linux环境下的程序了!
4.2.打开 spark的 jupyter notebook
a.在Linux服务器中以不打开本地浏览器中(需正确部署了spark)
xiaolei
@ubuntu:~$ PYSPARK_DRIVER_PYTHON=jupyter
PYSPARK_DRIVER_PYTHON_OPTS=
'notebook' /opt/spark-
2.0.
2-bin-hadoop2.
7/bin/pyspark
b.在windows下chrome浏览器登入配置文件Github源码(IE不可使)https://192.168.193.131:9999
配置文件Github源码