Сетевые порты MWS Data Slon
Сетевые порты для edgenode и web ui, необходимые для подключения клиентов к кластеру:
Сетевые доступы из этой таблицы необходимы для подключения к Hadoop кластеру (IN) и в обратном направлении (OUT).
| Компонент | Сервис | Порты | Протокол | Направление | Описание | Параметр |
|---|---|---|---|---|---|---|
| HDFS | namenode | 9870 | TCP | IN | Web UI namenode (API, WebHDFS) | dfs.namenode.http-address |
| HDFS | namenode | 8050 | TCP | IN | RPC адрес для коммуникации HDFS Services. | dfs.namenode.servicerpc-address. |
| HDFS | datanode | 1022 | TCP | IN | Web UI datanode (изменён от стандартного 9864 из-за требования kerberos) | dfs.datanode.http.address |
| HDFS | datanode | 1019 | TCP | IN | Datanode port for data transfer (изменён от стандартного 9866 из за требования kerberos) | dfs.datanode.address |
| YARN | resourcemanager | 8088 | TCP | IN | ResourceManager Web UI | yarn.resourcemanager.webapp.address |
| HDFS | namenode | 8020 | TCP | IN | NameNode RPC порт, который обрабатывает все запросы клиентов | dfs.namenode.rpc-address |
| YARN | nodemanager | 8042 | TCP | IN | NodeManager Web UI | yarn.nodemanager.webapp.address |
| YARN | resourcemanager | 8032 | TCP | IN | Адрес интерфейса менеджера приложений в RM. | yarn.resourcemanager.address |
| YARN | timeline | TCP8188 | IN | Timeline Server Web UI | yarn.timeline-service.webapp.address | |
| MapReduce | historyserver | 19888 | TCP | IN | MapReduce JobHistory Server Web UI | mapreduce.jobhistory.webapp.address |
| MapReduce | MapReduce am | 21100-21200 | TCP | IN | Диапазон портов, которые MapReduce AM может использовать при привязке | yarn.app.mapreduce.am.job.client.port-range |
| HIVE | HiveServer | 10000 | TCP | IN | Номер порта интерфейса HiveServer2 Thrift | hive.server2.thrift.port |
| HIVE | HiveMetastore | 9083 | TCP | IN | Порт прослушивания HiveMetastore | hive.metastore.port |
| HIVE | HA-HiveServer | 20000 | TCP | IN | Порт балансировка для подключения к HiveServer | |
| HIVE | HA-HiveMetastore | 29083 | TCP | IN | Порт балансировка для подключения к HiveMetastore | |
| Spark | Spark History Server | 18080 | TCP | IN | SparkHistory Web UI | |
| Spark | Spark UI | 4040-6040 | TCP | OUT | Порт для панели мониторинга вашего приложения, на которой отображаются данные о памяти и рабочей нагрузке | spark.ui.port |
| Spark | Spark Driver | 40000-40500 | TCP | OUT | Порт для прослушивания драйвером. Используется для связи с исполнителями и автономным Master (при maxRetries = 500). | spark.driver.port |
| Spark | Spark Block Manager | 40500-41000 | TCP | IN-OUT | Порты для подъема экзекуторов (при maxRetries = 500) | spark.blockManager.port spark.port.maxRetries |
| Zookeeper | Zookeeper Servers | 2181 | TCP | IN | Порт для прослушивания клиентских подключений | clientPort |
| Ranger | Ranger UI | 6080 | TCP | IN | Ranger admin web UI | ranger.service.http.port |
| Ranger | HA-Ranger UI | 26080 | TCP | IN | Порт балансировка для подключения к Ranger Web UI | |
| Ozone | datanode | 9858 | TCP | IN | Используется клиентами и другими узлами данных для репликации транзакций RAFT и записи данных DN | dfs.container.ratis.ipc |
| Ozone | datanode | 9859 | TCP | IN | Конечная точка, используемая клиентами и другими узлами данных для чтения данных блока DN | dfs.container.ipc |
| Ozone | ozone manager | 9862 | TCP | IN | Конечная точка RPC OM для клиентов и приложений | ozone.om.rpc-port |
| Ozone | S3-gateway | 9878 | TCP | IN | Порт REST API для клиента s3 | ozone.s3g.http-port |
| Ozone | HA S3-gateway | 29878 | TCP | IN | Порт высокой доступности REST API для клиента s3 (подключение через haproxy) |
Порты для взаимодействия компонентов и сервисов внутри кластера(исключая порты для edgenode и служебных нужд):
| Компонент | Сервис | Порты | Протокол | Направление | Описание | Параметр |
|---|---|---|---|---|---|---|
| Zookeeper | zookeeper | 2888,3888 | TCP | IN | Одноранговые узлы, используемые для связи с другими одноранговыми узлами | server.[1..255] |
| HDFS | journalnode | 8480 | TCP | IN | JournalNode HTTP server | dfs.journalnode.http-address |
| HDFS | journalnode | 8485 | TCP | IN | JournalNode RPC server | dfs.journalnode.rps-address |
| YARN | resourcemanager | 8030 | TCP | IN | Адрес интерфейса планировщика | yarn.resourcemanager.scheduler.address |
| YARN | resourcemanager | 8031 | TCP | IN | Для каждого rm-id укажите хост: порт, к которому будут подключаться NodeManagers. Если хост указан, переопределяет имя хоста, указанное в yarn.resourcemanager.hostname.rm-id. | yarn.resourcemanager.resource-tracker.address |
| YARN | resourcemanager | 8033 | TCP | IN | Адрес интерфейса RM admin | yarn.resourcemanager.admin.address |
| HDFS | datanode | 9867 | TCP | IN | Datanode ipc порт | dfs.datanode.ipc.address |
| YARN | timeline | 10200 | TCP | IN | Timeline server RPC порт | yarn.timeline-service.address |
| MapReduce | historyserver | 10020 | TCP | IN | MapReduce JobHistory Server IPC | mapreduce.jobhistory.address |
| MapReduce | historyserver | 10033 | TCP | IN | Админ интерфейс History server | mapreduce.jobhistory.admin.address |
| HDFS | zkfc | 8019 | TCP | IN | RPC порт для Zookeeper Failover Controller. | dfs.ha.zkfc.port |
| HDFS | namenode | 8051 | TCP | IN | NameNode RPC lifeline адрес. | dfs.namenode.lifeline.rpc-address. |
| YARN | nodemanager | 8040 | TCP | IN | Nodemanager localizer IPC | yarn.nodemanager.localizer.address |
| YARN | nodemanager | 13562 | TCP | IN | ShuffleHandler в NodeManager | mapreduce.shuffle.port |
| YARN | nodemanager | 7337 | TCP | IN | Порт, на котором будет запущен внешний shuffle сервис. | spark.shuffle.service.port |
| YARN | nodemanager | random | TCP | IN | Порт менеджера контейнеров в nodemanager. | yarn.nodemanager.address |
| Postgresql | Postgresql | 5432 | TCP | IN | Подключение к Postgresql для hivemetastore, ranger. | |
| HIVE | hiveserver2 | 10002 | TCP | IN | Порт, который будет прослушиваться веб-интерфейсом HiveServer2. Установите значение 0 или отрицательное число, чтобы отключить функцию веб-интерфейса HiveServer2. | hive.server2.webui.port |
| RANGER | ranger admin | 6085 | TCP | IN | Порт выключения веб-сервера ranger admin. | ranger.service.shutdown.port |
| Ozone | SCM | 9860 | TCP | IN | Port used by the Ozone Manager and other clients to communicate with the SCM for container operations. | ozone.scm.client.port |
| Ozone | SCM | 9961 | TCP | IN | SCM security server port | ozone.scm.security.service.port |
| Ozone | SCM | 9876 | TCP | IN | Web ui SCM | ozone.scm.http-address |
| Ozone | SCM | 9893 | TCP | IN | Port used for the SCM grpc update service for CRL. | ozone.scm.update.service.port |
| Ozone | SCM | 9861 | TCP | IN | Port used by the DataNodes to communicate with the Storage Container Manager (SCM). | ozone.scm.datanode.port |
| Ozone | SCM | 9894 | TCP | IN | Port used by the SCM to communicate with other SCMs using Ratis. | ozone.scm.ratis.port |
| Ozone | SCM | 9895 | TCP | IN | Port used by the SCM to communicate with other SCMs about the database checkpoint downloads. | ozone.scm.grpc.port |
| Ozone | SCM | 9863 | TCP | IN | Port used by the Ozone Manager to communicate with the SCM for block related operations. | ozone.scm.block.client.port |
| Ozone | OM | 9872 | TCP | IN | RPC endpoint for Ozone Manager HA instances to form a RAFT consensus ring. | ozone.om.ratis-port |
| Ozone | OM | 9874 | TCP | IN | HTTP port for the Ozone Manager web UI. | ozone.om.http-port |
| Ozone | OM | 8981 | TCP | IN | Port used for the GrpcOmTransport OzoneManagerServiceGrpc server | ozone.om.grpc.port |
| Ozone | OM | 9862 | TCP | IN | RPC endpoint for clients and applications. | ozone.om.rpc-port |
| Ozone | DN | 9859 | TCP | IN | Endpoint that is used by clients and other DataNodes to read block data. | dfs.container.ipc |
| Ozone | DN | 19864 | TCP | IN | Ozone Datanode client port | hdds.datanode.client.port |
| Ozone | DN | 9882 | TCP | IN | HTTP port for the DataNode web UI | hdds.datanode.http-address |
| Ozone | DN | 9886 | TCP | IN | Port used for the server2server replication server | hdds.datanode.replication.port |
| Ozone | DN | 9856 | TCP | IN | The ipc port number of container for server-server communication | dfs.container.ratis.server.port |
| Ozone | DN | 9857 | TCP | IN | The ipc port number of container for admin requests | dfs.container.ratis.admin.port |
| Ozone | DN | 9858 | TCP | IN | The ipc port number of container for clients. | dfs.container.ratis.ipc |
| Ozone | RECON | 9888 | TCP | IN | HTTP port for the Recon service web UI and REST API. | ozone.recon.http-port |
| Ozone | RECON | 9891 | TCP | IN | Port used by DataNodes to communicate with the Recon Server. | ozone.recon.rpc-port |
| Ozone | RECON | 9889 | TCP | IN | HTTPS port for the Recon service web UI and REST API. | ozone.recon.https-port |
| Ozone | S3G | 9878 | TCP | IN | HTTP port for the S3 API REST endpoint and web UI. | ozone.s3g.http-port |
| Ozone | S3G | 29878 | TCP | IN | HA HTTP port for the S3 API REST endpoint and web UI. | haproxy setting |